南开大学2025年9月《大数据开发技术》作业考核试题及答案参考.docxVIP

南开大学2025年9月《大数据开发技术》作业考核试题及答案参考

一、单项选择题（每题2分，共20分）

1.在Hadoop生态中，负责资源管理与任务调度的组件是

A.HDFS??B.YARN??C.MapReduce??D.Hive

答案：B

2.下列哪条Spark算子会触发Shuffle操作

A.map??B.filter??C.reduceByKey??D.collect

答案：C

3.关于Parquet文件格式，描述错误的是

A.列式存储??B.自带Schema??C.支持谓词下推??D.只支持JavaAPI

答案：D

4.Kafka中保证消息顺序的最小单元是

A.Broker??B.Topic??C.Partition??D.ConsumerGroup

答案：C

5.Flink的Checkpoint机制基于哪种分布式一致性协议

A.Raft??B.Chandy-Lamport??C.Two-PhaseCommit??D.Paxos

答案：B

6.在HBase中，用于实现二级索引的常用方案是

A.Coprocessor??B.BloomFilter??C.MemStore??D.WAL

答案：A

7.使用SparkMLlib训练GBDT模型时，可调的参数不包括

A.maxDepth??B.stepSize??C.numIterations??D.regParam

答案：B

8.下列哪种存储格式最适合支持OLAP场景的交互式查询

A.ORC??B.SequenceFile??C.TextFile??D.Avro

答案：A

9.在数据湖架构中，提供ACID语义并支持行级更新的开源组件是

A.DeltaLake??B.Alluxio??C.Livy??D.Knox

答案：A

10.当Spark作业频繁出现executorlost，应优先检查的指标是

A.StorageMemory??B.ShuffleRead??C.GCTime??D.RecordsRead

答案：C

二、多项选择题（每题3分，共15分）

11.以下哪些属于Flink的StateBackend实现

A.MemoryStateBackend??B.FsStateBackend??C.RocksDBStateBackend??D.HdfsStateBackend

答案：A、B、C

12.关于HiveonSpark与HiveonTez对比，正确的有

A.前者复用Spark引擎??B.后者支持更细粒度并行??C.前者SQL兼容性更好??D.后者小文件合并能力更强

答案：A、B、D

13.使用KafkaConnect进行数据入湖时，可配置的转换器包括

A.JSONConverter??B.AvroConverter??C.ProtobufConverter??D.CSVConverter

答案：A、B、C

14.在SparkStructuredStreaming中，支持的内置输出模式有

A.Append??B.Update??C.Complete??D.Merge

答案：A、B、C

15.以下哪些操作会触发Spark的Job提交

A.count??B.saveAsTextFile??C.take??D.persist

答案：A、B、C

三、判断题（每题1分，共10分）

16.HDFS的NameNode高可用方案中，ZKFC进程负责监控NameNode健康状态并触发主备切换。

答案：√

17.Spark的RDD一旦持久化到磁盘，后续所有算子均不再重新计算。

答案：×

18.Flink的EventTime处理必须指定Watermark生成策略，否则无法触发窗口计算。

答案：√

19.ORC格式的StripeFooter中保存了列的统计信息，可用于剪枝优化。

答案：√

20.Kafka的ConsumerOffset由Zookeeper直接管理，Broker不参与。

答案：×

21.HBase的RegionServer宕机后，其负责的Region必须由Master重新分配。

答案：√

22.DeltaLake的TimeTravel功能依赖事务日志，默认保留30天。

答案：√

23.SparkSQL的Catalyst优化器支持规则优化与代