Spark 高频面试题及详细答案（真实职场版）.docxVIP

Spark高频面试题及详细答案（真实职场版）

一、Spark基础核心面试题

1、简单说下Spark和MapReduce的区别，为什么Spark比MR快？

参考答案：

首先核心区别是运行机制和中间数据存储方式不一样。

MapReduce是基于磁盘的计算框架，每一个Map、Reduce阶段结束后，都会把结果落地磁盘，下一阶段再从磁盘读取数据，频繁的磁盘IO是最大瓶颈。而且MR只有Map、Reduce两个阶段，复杂任务需要拆分成多个Job，作业之间调度开销大。

Spark核心是基于内存计算，迭代计算过程中，中间数据可以缓存在内存中，减少大量磁盘读写。同时Spark拥有更丰富的算子，不止两个阶段，复杂计算可以在一个Job内完成，调度效率更高。另外Spark支持DAG有向无环图调度，会自动优化任务执行顺序，减少冗余计算。

总结核心优势：内存缓存、减少磁盘IO、DAG调度优化、算子丰富、迭代计算效率极高，非常适合大数据迭代计算场景。

2、Spark的核心组件有哪些？各自作用是什么？

参考答案：

Spark核心组件主要分为五大块：

1、Driver（驱动器）：运行在客户端节点，负责解析用户代码、生成DAG、划分Stage、生成Task，最后将任务调度分发到Executor执行，同时维护整个作业的运行状态。

2、Execut