Hadoop、Spark 高频面试题及详细答案（实战版）_1.docx

Hadoop、Spark高频面试题及详细答案（实战版）

一、Hadoop核心面试题

1.简单说说Hadoop的核心组件及各自作用

Hadoop核心由三大组件组成，日常开发和运维最常用的是HDFS、YARN、MapReduce，分工非常明确：

HDFS是分布式文件存储系统，主要负责存数据。它把大文件拆分成分块存储在集群不同节点，同时做多副本冗余，保证数据不丢失、可高并发读取，是整个大数据生态的存储底座。

YARN是资源调度框架，负责管集群资源。相当于集群的“调度总管”，统一分配服务器的CPU、内存资源，调度各个任务的运行、排队、重启，管控Spark、MapReduce、H