（数据科学与大数据技术）Spark编程技术试题及答案.docVIP

2025年（数据科学与大数据技术）Spark编程技术试题及答案

第I卷（选择题共40分）

答题要求：本卷共20题，每题2分。每题只有一个正确答案，请将正确答案填涂在答题卡相应位置。

1.Spark中用于分布式数据集的基本抽象是？

A.RDD

B.DataFrame

C.Dataset

D.SQL

2.以下哪个不是Spark运行模式？

A.Standalone

B.Mesos

C.Hadoop

D.YARN

3.在Spark中，通过什么方法可以对RDD进行持久化？

A.persist()

B.cache()

C.bothAandB

D.以上都不对

4.SparkSQL中，用于创建DataFrame的方法是？

A.createDataFrame()

B.newDataFrame()

C.makeDataFrame()

D.buildDataFrame()

5.以下哪种算子是窄依赖？

A.groupBy

B.reduceByKey

C.join

D.map

6.SparkStreaming中，窗口操作是基于什么实现的？

A.时间间隔

B.数据量

C.批次

D.事件

7.要在Spark中读取文本文件，应该使用哪个方法？

A.readTextFile()

B.textFile()

C.loadTextFile()

D.getTextFile()

8.在Spark中，对DataFrame进行排序使用的函数是？

A.sort()

B.orderBy()

C.bothAandB

D.arrange()

9.以下哪个是Spark中的广播变量？

A.BroadcastVariable

B.Broadcast

C.DistributedBroadcast

D.BroadcastData

10.SparkMLlib中，用于线性回归的类是？

A.LinearRegression

B.LinearModel

C.Regression

D.LinearRegressionModel

11.当对一个RDD进行多次操作时，以下哪种方式可以避免重复计算？

A.使用cache或persist

B.减少操作次数

C.优化代码

D.增加并行度

12.在SparkSQL中，如何执行SQL查询？

A.sql()方法

B.executeQuery()方法

C.runSql()方法

D.query()方法

13.SparkStreaming中，DStream表示？

A.离散流

B.持续流

C.数据流

D.动态流

14.用于将RDD转换为DataFrame的函数是？

A.toDF()

B.asDF()

C.convertToDF()

D.makeDF()

15.在Spark中，shuffle操作会？

A.增加网络传输

B.减少计算量

C.提高性能

D.降低数据倾斜

16.SparkMLlib中，用于聚类的算法是？

A.KMeans

B.DBSCAN

C.bothAandB

D.HierarchicalClustering

17.当读取Hive表时，SparkSQL使用的数据源是？

A.HiveContext

B.SQLContext

C.SparkSession

D.HiveSession

18.在Spark中创建一个包含10个元素的RDD，应该使用？

A.sc.parallelize(1to10)

B.sc.parallelize(List(1,2,3,4,5,6,7,8,9,10))

C.sc.makeRDD(1to10)

D.sc.createRDD(1to10)

19.SparkStreaming中，窗口操作的窗口长度和滑动间隔的单位是？

A.秒

B.分钟

C.批次

D.以上都可以

20.在Spark中，对两个RDD进行笛卡尔积操作使用的函数是？

A.cartesian()

B.crossProduct()

C.product()

D.cross()

第II卷（非选择题共60分）

（一）简答题（共20分）

答题要求：本部分共4题，每题5分。请在答题区域下划线处作答，答案字数150字左右。

1.简述Spark中RDD的特点。

___

RDD是Spark中分布式数据集的基本抽象。它具有不可变、容错、分区等特点。不可变保证数据一致性，容错通过血统信息实现，分区支持