spark面试题及答案.docVIP

spark面试题及答案

一、单项选择题（每题2分，共10题）

1.Spark核心组件不包括（）

A.DriverB.ExecutorC.ZooKeeperD.ClusterManager

2.RDD的中文是（）

A.弹性分布式数据集B.资源描述框架C.分布式文件系统D.数据仓库

3.以下哪个是Spark中常用的分布式文件系统（）

A.HBaseB.HDFSC.MySQLD.Redis

4.Spark中创建RDD的方式不包括（）

A.从集合创建B.从文件创建C.从数据库创建D.从网络创建

5.以下哪个是Spark的编程语言（）

A.C++B.JavaC.PHPD.Go

6.Spark中对RDD进行转换操作后会返回（）

A.原RDDB.新RDDC.空RDDD.报错

7.以下哪个不是Spark的部署模式（）

A.StandaloneB.YARNC.MesosD.MapReduce

8.以下哪个函数用于对RDD进行分组操作（）

A.mapB.filterC.groupByD.reduce

9.Spark应用程序的入口是（）

A.main函数B.SparkContextC.SQLContextD.StreamingContext

10.以下哪个不属于Spark优化策略（）

A.广播变量B.累加器C.数据倾斜处理D.减少分区

二、多项选择题（每题2分，共10题）

1.Spark支持的编程语言有（）

A.ScalaB.JavaC.PythonD.R

2.以下属于Spark核心组件的有（）

A.DriverB.ExecutorC.ClusterManagerD.Worker

3.RDD的操作类型主要有（）

A.转换操作B.行动操作C.聚合操作D.排序操作

4.Spark的部署模式有（）

A.StandaloneB.YARNC.MesosD.Kubernetes

5.以下哪些是SparkSQL支持的数据格式（）

A.JSONB.ParquetC.ORCD.CSV

6.SparkStreaming可以处理的数据源有（）

A.KafkaB.FlumeC.SocketD.HDFS

7.以下哪些属于Spark优化策略（）

A.广播变量B.累加器C.数据倾斜处理D.算子融合

8.以下属于Spark中RDD持久化级别的有（）

A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.OFF_HEAP

9.SparkSQL中常用的函数有（）

A.sumB.avgC.countD.max

10.Spark生态系统包含的组件有（）

A.SparkCoreB.SparkSQLC.SparkStreamingD.MLlib

三、判断题（每题2分，共10题）

1.Spark只能运行在Linux系统上。（）

2.RDD是不可变的分布式数据集。（）

3.Spark中行动操作会触发真正的计算。（）

4.广播变量可以在多个节点间共享只读数据。（）

5.累加器只能在Driver端读取其值。（）

6.Spark应用程序中Driver可以有多个。（）

7.SparkSQL只能处理结构化数据。（）

8.SparkStreaming是实时流处理框架。（）

9.数据倾斜会影响Spark作业性能。（）

10.Spark中RDD分区越多性能一定越好。（）

四、简答题（每题5分，共4题）

1.简述Spark的优势。

答：速度快，基于内存计算；通用性强，支持多种语言和多种计算范式；易部署，支持多种部署模式；可扩展性好，能处理大规模数据。

2.简述RDD的转换操作和行动操作的区别。

答：转换操作是懒执行，只是定义了一个计算逻辑，不会立即计算，返回新RDD；行动操作会触发真正的计算，会返回计算结果或把结果保存到外部存储。

3.简述SparkSQL的作用。

答：SparkSQL用于处理结构化数据，提供了D