大数据Spark题目及详解.docxVIP

大数据Spark题目及详解

一、单项选择题（共10题，每题1分，共10分）

Spark最核心的分布式数据处理抽象是以下哪一项？

A.DataFrame

B.RDD

C.DataSet

D.MapReduceJob

答案：B

解析：RDD（弹性分布式数据集）是Spark的底层核心抽象，它定义了不可变、可分区、支持并行操作的分布式数据结构，是上层DataFrame、DataSet等API的基础。选项A的DataFrame是结构化数据集，基于RDD衍生；选项C的DataSet是强类型结构化数据集，同样依托RDD；选项D的MapReduceJob是Hadoop传统计算框架的单元，不属于Spark体系，因此正确答案为B。

Spark集群中负责全局资源调度、启动Executor进程的组件是？

A.DriverProgram

B.ClusterManager

C.WorkerNode

D.Executor

答案：B

解析：ClusterManager是Spark集群的全局资源管理组件，比如Standalone模式的Master、YARN的ResourceManager，核心职责是向集群节点分配资源，为Spark应用启动Executor进程。选项A的Driver是运行Application主函数的进程，负责任务调度；选项C的WorkerNode是集群工作节点，接收并执