HDFS初步研究.pdfVIP

HDFS 初步研究 1. 概览 HDFS(Hadoop Distributed File System)是被Hadoop 应用程序所使用的主要的分布式存储方 式。一个HDFS 集群主要包括一个NameNode 和若干个DataNode 。NameNode 的主要作用主要 功能是管理HDFS 文件系统的元数据(metadata)，DataNode 的主要作用是存储实际的数据。HDFS 和现存的一些分布式文件系统有很多相似之处，但是和传统的分布式文件系统的区别也是明显的。 HDFS 适合被处理大量数据的应用程序所使用，HDFS 是高容错性的，可以部署在低成本的硬件 之上。HDFS 放开了一些POSIX 的需求去实现流式地方位文件数据，HDFS 开始是作为为开源的 Apache 项目Nutch 网络搜索引擎项目的基础结构而创建。HDFS 目前是Apache Hadoop 项目下的 一个子项目。 2. 架构 在介绍HDFS 的架构之前，有必要先了解一下HDFS 的设计思想。HDFS 是基于一下的一些 假定和目标进行设计的： 1) 硬件故障 硬件故障是很正常的，而不是异常。整个 HDFS 系统可能由数百或数千个存储着文件数据 片段的服务器组成。实际上它里面有非常巨大的组成部分，每一个组成部分都会频繁地出现故障， 这就意味着 HDFS 里的一些组成部分总是失效的，因此，故障检测和自动快速恢复是 HDFS 的 一个核心结构目标。 2) 流式数据访问 运行在 HDFS 之上的应用程序必须流式地方式访问他们的数据集，这些应用程序和典型的 运行在常规的文件系统之上的常规程序有所区别。HDFS 是设计成适合批量处理的，而不是用户 交互式的。重点是在数据吞吐量，而不是数据访问的反应时间，POSIX 规定的很多硬性的需求 对很多应用不是必须的，去掉POSIX 的很多关键地方的语义可以获得更好的数据吞吐率。 3) 大量数据集 运行在HDFS 之上的程序有很大量的数据集。着意味着典型的HDFS 文件是GB 到TB 的大 小，所以HDFS 很好地支持大文件。HDFS 应该能提供很高的聚合数据带宽，典型的一个集群可 以支持数百个节点。在一个集群上应该能支持数以百万的文件。 4) 简单的一致性模型 大部分的HDFS 程序对文件操作需要的是一次写入，多次读取。一个文件一旦创建、写入、 关闭之后就不需要修改了。这个假定简单化了数据一致的问题和高吞吐量的数据访问。 Map-Reduce 程序或者网络爬虫程序都是非常完美的适合这个模型。此外，在已有文件中进行附 加写入也是HDFS 的一个未来的计划。 5) 移动计算比移动数据更廉价 如果应用程序中计算所需要的数据离它很近，那么计算将会更加高效。如果计算中用到的数 据集非常的巨大，更加是这样。因为它将减少网络拥塞并且提高系统的吞吐量。这个假设也就意 味着，通常，把计算转移到离数据近的位置比把数据转移到计算进行的地方更好。HDFS 提供了 转移应用程序到离数据近的位置的接口。 6) 轻便的访问异构的软硬件平台 HDFS 被设计成可以非常简单地从一个平台转移到另一个平台。这促使了HDFS 应用到越来 越多的大数据集的应用程序中。 基于以上的一些假定和设计目标，HDFS 被这集成master/slave 结构，其设计架构图如下： 图1 HDFS 架构图 在以上的架构图中，HDFS 中重要的两个组成部分是NameNode 和DataNodes，一个HDFS 集群包含一个唯一的NameNode ，也就对应着master 服务器，主要负责管理文件系统的命名空间， 以及对客户端访问文件进行规范和控制。HDFS 集群中可以有大量的DataNodes，通常，集群中 一个节点对应一个 DataNode ，其主要作用在运行的节点上存储集群中的数据。HDFS 提供了一 个文件系统的命名空间允许用户的数据存储在文件中。在内部，一个文件被分割成一个或多个存 储块，这些块分布在DataNodes 集上。NameNode 执行文件系统命名空间的的操作，比如打开、 关闭、重命名文件或目录等。同时，NameNode 也管理着存储块和DataNodes 之间的映射关系。 DataN