HDFS架构：存储机制与集群管理.pdfVIP

1.HDFS开创性地设计出一套文件方式，即对文件分割后分别存放；

2.HDFS将要的大文件进行分割，分割后存放在既定的块（Block）中，

并通过预先设定的优化处理，模式对的数据进行预处理，从而解决了大文

件与计算的需求；

3.一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个

集群中会有一个NameNode和多个DataNode共同工作；

4.editlog：修改日志，当文件系统客户端client进行写操作的时候，我们就

要把这条记录放在修改日志中。在记录了修改日志后，NameNode则修改内存中

的数据结构。每次写操作成功之前，editlog都会同步到文件系统中。

5.NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及内容数据

进行，并不断记录集群中DataNode主机情况与工作状态，并通过

与写入镜像日志文件的方式进行；

6.DataNode在HDFS集群中担任任务具体执行角色，是集群的工作节点。文件

被分成若干个相同大小的数据块，分别在若干个DataNode上，DataNode

会定期向集群内NameNode发送自己的运行状态与内容，并根据Nam