hadoop期末知识点总结.docVIP

hadoop期末知识点总结

Hadoop基础概念

Hadoop是一个开源的分布式计算框架，用于处理和分析大规模数据集。其核心思想是将数据和计算任务分布到多个廉价的商用硬件上，从而实现高吞吐量的数据处理。

1.Hadoop体系结构

Hadoop的体系结构主要包括以下几个组件：

（1）HDFS（HadoopDistributedFileSystem）：分布式文件系统，用于存储大规模数据集。

（2）YARN（YetAnotherResourceNegotiator）：资源管理器，负责管理集群中的计算资源。

（3）MapReduce：计算模型，用于并行处理大规模数据集。

2.HDFS架构

HDFS采用主从架构，包括NameNode、DataNode和SecondaryNameNode三个角色：

（1）NameNode：负责管理文件系统的元数据，如文件目录结构和块信息。

（2）DataNode：负责存储实际数据块，并定期向NameNode汇报块状态。

（3）SecondaryNameNode：辅助NameNode进行元数据备份和优化。

3.YARN架构

YARN将资源管理和任务调度分离，包括ResourceManager、NodeManager和ApplicationMaster三个组件：

（1）Resou