2021年HDFS架构和实现机制简介.pdfVIP

HDFS 架构和实现机制简介 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。 一个 HDFS 集群包含一个 NameNode ，这是一 个 Master Server ，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包括多个 DataNode ，用来存储数据。 HDFS 的整体结构如图 1 所示。 图 1 HDFS 整体架构 HDFS 会对外暴露一个文件系统命名空间，并允许用户数据以文件的形式进行存储。在内 部，一个文件被分成多个块并且这些块被存储在一组 DataNode 上。 1 ）NameNode 文件的元数据采用集中式存储方案存放在 NameNode 当中。 NameNode 负责执行文件 系统命名空间的操作， 如打幵、关闭、重命名文件和目录。 NameNode 同时也负责将数据 块映射到对应的 DataNode 中。 2 ） DataNode DataNode