二零二三年 优质公开课HDFS基本组件.pptx

HDFS基本组件;了解hdfs的基本组件;1. common(工具类)2. HDFS3. NameNode4. DataNode5. MapReduce6. YARN; 包括Hadoop常用的工具类，由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。 ; Hadoop实现了一个分布式的文件系统，HDFS为海量的数据提供了存储。HDFS是基于节点的形式进行构建的，里面有一个父节点NameNode，他在机器内部提供了服务，NameNode本身不干活，NameNode将数据分成块，只是把数据分发给子节点，交由子节点来进行存储，由于只存在一个父节点，所以这是HDFS的一个缺点，单点失败。以及n个子节点DataNode,DataNode在机器内部提供了数据块，存储在HDFS的数据被分成块，然后将这些块分到多个计算机(DataNode)中，这与传统的RAID架构大有不同。块的大小（通常为64MB）和复制的块数量在创建文件时由客户机决定。NameNode可以控制所有文件操作。 ; NameNode是一个通常在 HDFS实例中的单独机器上运行的