Hadoop 高频面试题及详细答案（实战版）.docxVIP

Hadoop高频面试题及详细答案（实战版）

一、Hadoop基础核心面试题

1.简单说说Hadoop的核心组件和各自作用

Hadoop核心由三大组件构成，分别是HDFS、YARN、MapReduce，各自分工明确：

HDFS是分布式文件系统，主要负责海量数据的存储。它把大文件切分成小块分散存储在集群各个节点，同时通过副本机制保证数据不丢失，解决单机硬盘存储上限和数据安全问题。

YARN是资源调度框架，相当于集群的操作系统。主要负责管理整个集群的内存、CPU资源，调度各个任务的运行，分配资源、监控任务状态、回收资源，避免任务抢占资源、集群资源浪费。

MapReduce是离线计算框架，负责海量数据的分布式运算。将复杂的大数据计算拆分为Map阶段和Reduce阶段，分而治之，让集群多节点并行计算，提升运算效率。

2.Hadoop1.x、2.x、3.x核心区别是什么？

Hadoop1.x：架构简单，但缺陷很大。没有独立的YARN，资源调度和计算耦合在MapReduce中，只能跑MapReduce任务，不支持其他计算框架。同时NameNode是单点故障，集群稳定性差，扩展性极低。

Hadoop2.x：核心升级是拆分出YARN组件，实现资源调度和计算分离。集群可以运行Spark、Flink、Hive等多种计算任务，资源利用率大幅提升。