Spark_SQL与Flink_SQL编程能力测试题集.docxVIP

第PAGE页共NUMPAGES页

SparkSQL与FlinkSQL编程能力测试题集

一、选择题（每题2分，共10题）

1.在SparkSQL中，以下哪个操作符用于对DataFrame进行分组并计算聚合函数？

A.`select`

B.`groupBy`

C.`filter`

D.`orderBy`

2.FlinkSQL中，如何定义一个窗口函数？

A.`over()`

B.`window()`

C.`partitionBy()`

D.`groupBy()`

3.SparkSQL中，`DataFrame.cache()`与`DataFrame.persist()`的主要区别是什么？

A.`cache()`只能缓存DataFrame，`persist()`可以缓存RDD

B.`cache()`适用于小型数据集，`persist()`适用于大型数据集

C.`cache()`缓存全部分区，`persist()`支持自定义存储级别

D.两者无区别

4.在FlinkSQL中，如何实现时间窗口的滚动计算？

A.`TUMBLE()`

B.`HOP()`

C.`SLIDING()`

D.以上都是

5.SparkSQL中，`DataFrame.join()`默认使用的连接类型是什么？

A.内连接（InnerJoin）

B.左外连接（LeftOuterJoin）

C.右外连接（RightOuterJoin）

D.全外连接（FullOuterJoin）

二、填空题（每题3分，共5题）

1.SparkSQL中，用于将RDD转换为DataFrame的函数是______。

答案：`spark.createDataFrame`

2.FlinkSQL中，`PARTITIONBY`子句用于______。

答案：根据指定字段对数据进行分区

3.SparkSQL中，`DataFrame.where()`与`DataFrame.filter()`的功能______。

答案：相同

4.FlinkSQL中，`LAG()`函数用于______。

答案：获取当前行之前某行的数据

5.SparkSQL中，`DataFrame.show()`默认显示______条数据。

答案：20

三、简答题（每题5分，共4题）

1.简述SparkSQL中`DataFrame`与`RDD`的区别。

答案：

-`DataFrame`是具有schema的分布式数据集，支持SQL查询和丰富的优化；`RDD`是未经schema的原始数据集，功能相对基础。

-`DataFrame`提供更强的容错性和优化（如Catalystplanner）；`RDD`需要手动优化。

2.FlinkSQL中，如何处理数据倾斜问题？

答案：

-使用`GROUPBY`时增加`rand()`或哈希字段；

-调整并行度（`setParallelism()`）；

-手动分区（`PARTITIONBY`）。

3.SparkSQL中，`broadcast`变量的作用是什么？

答案：将小DataFrame广播到所有节点，减少网络传输开销。

4.FlinkSQL中，`STATEMENT`与`DDL`执行模式有何不同？

答案：

-`STATEMENT`每次查询都重新编译；

-`DDL`支持保存编译结果，提高性能。

四、编程题（每题10分，共2题）

1.使用SparkSQL实现以下逻辑：

-读取CSV文件，字段包括`id`（整数）、`name`（字符串）、`score`（浮点数）；

-过滤`score`大于80的数据；

-按照分数降序排序，并显示前10条记录。

sql

--示例代码

SELECTid,name,score

FROMtable_name

WHEREscore80

ORDERBYscoreDESC

LIMIT10;

2.使用FlinkSQL实现以下逻辑：

-输入流包含`user_id`（整数）、`event_time`（时间戳）、`event_type`（字符串）；

-计算每个用户过去5分钟内的活跃用户数（事件类型为`login`）；

-使用滚动事件窗口（5分钟）。

sql

--示例代码

SELECTuser_id,COUNT()ASactive_users

FROM(

SELECTuser_id,

HOP(rowtime,INTERVAL5MINUTE,INTERVAL5MINUTE)ASwindow

FROMstream_table

WHEREevent_type=login

)

GROUPBYus