Spark工程师(某大型国企)面试题试题集详解.docxVIP

Spark工程师面试题(某大型国企)试题集详解

面试问答题（共25题）

第一题

请简述Spark的核心架构及其各组件的作用，并结合实际业务场景说明Spark如何实现高效的数据处理。

答案

Spark的核心架构主要由Driver（驱动器）、Executor（执行器）、ClusterManager（集群管理器）、DAGScheduler（DAG调度器）、TaskScheduler（任务调度器）和RDD（弹性分布式数据集）等组件构成，各组件协同工作以实现高效的数据处理。以下是各组件的作用及业务场景说明：

Driver（驱动器）

作用：SparkApplication的“大脑”，负责：

解析用户代码，生成计算逻辑（如RDD的转换操作）。

构建DAG（有向无环图），并拆解为Stage（阶段）。

与ClusterManager交互，申请计算资源（Executor）。

跟踪Task的执行状态，汇总最终结果。

运行时：在客户端或集群节点上运行，是Application的入口。

Executor（执行器）

作用：SparkApplication的“工人”，负责：

在集群节点上启动，接收Driver分配的Task并执行。

存储计算中间数据（如Cache的RDD）。

通过BlockManager与其他Executor交换数据（Shuffle过程）。

数量：由ClusterManager