Hadoop 百度面试题（含参考答案）.docx

Hadoop百度面试题（含参考答案）

一、基础概念题

1.简述Hadoop三大核心组件以及各自作用

参考答案：

Hadoop核心由HDFS、MapReduce、YARN三部分组成。

HDFS（HadoopDistributedFileSystem）：分布式文件系统，负责海量数据的存储。把大文件切分成数据块分散存储在集群不同节点，通过多副本机制保证数据可靠性，支持高吞吐的数据读写，适合一次写入、多次读取的场景。

MapReduce：分布式计算框架，把计算拆分为Map和Reduce两个阶段。Map阶段负责分片数据读取、处理、输出中间键值对；Reduce阶段对相同key