Spark期末练习题库强化训练（全优）附答案详解.docxVIP

Spark期末练习题库强化训练（全优）附答案详解

1.在SparkStandalone集群中，负责整个集群资源管理和任务调度的核心组件是？

A.Master

B.Worker

C.Driver

D.Executor

【答案】：A

解析：本题考察SparkStandalone集群架构。Master是集群的主节点，负责管理所有Worker节点的资源分配、任务调度和状态监控（A正确）；Worker是从节点，负责启动Executor并执行任务（B错误）；Driver是运行在客户端的组件，负责协调Spark应用的执行（C错误）；Executor是运行在Worker节点上的任务执行单元，不负责资源调度（D错误）。

2.Spark集群运行架构中，Driver进程的核心职责是？

A.直接在Executor上执行用户定义的任务代码

B.管理集群中所有Worker节点的资源分配

C.将应用程序逻辑转换为DAG并提交任务调度

D.负责将RDD数据持久化到HDFS等外部存储

【答案】：C

解析：本题考察Driver的核心功能。C正确：Driver负责解析用户代码，构建RDD依赖关系的DAG图，并提交给DAGScheduler进行任务调度；A错误：任务代码由Executor在Worker节点上执行；B错误：集群资源管理由ClusterManager（如YARN的ResourceMa