细细品味Hadoop_Hadoop集群(第8期)_HDFS初探之旅_转转.docVIP

细细品味 Hadoop ——Hadoop集群（第 8期） 精 华 集 锦 csAxp 虾皮工作室 /xia520pi/ 2012年 5月 28日  创建时间：2012/3/6修改时间：2012/3/8修改次数：0 Hadoop集群（第 8期） ——HDFS初探之旅 1、HDFS简介 HDFS（Hadoop Distributed File System）是 Hadoop项目的核心子项目，是分布式计算 中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行 于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率 等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来 了很多便利。 Hadoop整合了众多文件系统，在其中有一个综合性的文件系统抽象，它提供了文件系 统实现的各类接口，HDFS只是这个抽象文件系统的一个实例。提供了一个高层的文件系统 抽象类 org.apache.hadoop.fs.FileSystem，这个抽象类展示了一个分布式文件系统，并有几个 具体实现，如下表 1-1所示。 表 1-1 Hadoop的文件系统 URI方 Java实现 文件系统 定义 案 （org.apache.hadoop） 支持有客户端校验和本地文件 系统。带有校验和的本地系统文 件在 fs.RawLocalFileSystem中 实现。 Local file fs.LocalFileSystem HDFS HFTP hdfs hftp hdfs.DistributionFileSystem hdfs.HftpFileSystem Hadoop的分布式文件系统。 支持通过 HTTP方式以只读的 方式访问 HDFS，distcp经常用 在不同的 HDFS集群间复制数 据。 支持通过 HTTPS方式以只读的 方式访问 HDFS。 HSFTP HAR hsftp har hdfs.HsftpFileSystem fs.HarFileSystem 构建在 Hadoop文件系统之上， 对文件进行归档。Hadoop归档 文件主要用来减少 NameNode 的内存使用。 Cloudstore（其前身是 Kosmos 文件系统）文件系统是类似于 HDFS和 Google的 GFS文件系 统，使用 C++编写。 由 FTP服务器支持的文件系统。 基于 Amazon S3的文件系统。 基于 Amazon S3的文件系统，以 块格式存储解决了 S3的 5GB文 件大小的限制。 KFS kfs fs.kfs.KosmosFileSystem FTP ftp s3n fs.ftp.FtpFileSystem S3（本地） fs.s3native.NativeS3FileSystem S3（基于块） s3 fs.s3.NativeS3FileSystem 河北工业大学——软件工程与理论实验室 编辑：虾皮 1  创建时间：2012/3/6修改时间：2012/3/8修改次数：0 Hadoop提供了许多文件系统的接口，用户可以使用 URI方案选取合适的文件系统来实 现交互。 2、HDFS基础概念 2.1数据块（block） ? ? ? HDFS(Hadoop Distributed File System)默认的最基本的存储单位是 64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成 64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用 整个数据块存储空间。 2.2 NameNode和DataNode HDFS体系结构中有两类节点，一类是 NameNode，又叫“元数据节点”；另一类是 DataNode，又叫“数据节点”。这两类节点分别承担 Master和 Worker具体任务的执行节点。 1）元数据节点用来管理文件系统的命名空间 ? ? 其将所有的文件和文件夹的元数据保存在一个文件系统树中。 这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace image)及修改日 志(edit log) ? 其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不 存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。 2）数据节点是文件系统中真正存储数据的地方。 ? 客户端(client)或者元数据信息 (namenode)可以向数据节点请求写入或者读出数据 块。 ? 其周期性的向元数据节点回报其存储的数据块信息。 3）从元数据节点（secondary namenode） ? ? ? 从元数据节点并不是元数据节点出现问题时候的备用节点