2025年大数据试题+参考答案.docxVIP

2025年大数据试题+参考答案

一、单项选择题（每题2分，共20分）

1.关于Hadoop3.x版本的HDFS，以下描述错误的是：

A.默认块大小为128MB

B.支持纠删码（ErasureCoding）降低存储成本

C.NameNode内存中存储的元数据包含文件块位置信息

D.引入HDFSFederation实现元数据横向扩展

2.某Spark作业执行时，出现“Stage3failed4times，mostrecentfailure:Losttask3.3instage3.0”，最可能的原因是：

A.驱动程序（Driver）内存不足

B.任务（Task）所在Executor节点网络中断

C.SparkSQL的Shuffle分区数设置过小

D.RDD的持久化级别选择错误

3.数据湖（DataLake）与传统数据仓库（DataWarehouse）的核心差异在于：

A.存储介质（磁盘/内存）

B.数据结构（结构化/非结构化）

C.分析场景（OLTP/OLAP）

D.数据新鲜度（实时/批量）

4.实时计算框架Flink中，水印（Watermark）的主要作用是：

A.解决乱序事件时间（EventTime）的延迟问题

B.限制状态存储的大小以避免内存溢出

C.协调不同并行度任务的数据分发

D.优化Checkpoint的执行效率

5.某电商平台用户行为日志数据量为每天500GB（文本格式，无压缩），需存储至HDFS并支持快速查询，最合理的存储方案是：

A.原始文本格式，单文件128MB

B.Parquet格式，按日期分区，单文件256MB

C.ORC格式，按用户ID分桶，单文件64MB

D.CSV格式，按小时分区，单文件512MB

6.数据倾斜（DataSkew）在SparkShuffle阶段的典型表现是：

A.部分Executor内存使用率远高于其他节点

B.所有Task的执行时间均匀分布

C.Checkpoint耗时显著增加

D.RDD的分区数自动调整

7.关于Kafka的消费者组（ConsumerGroup），以下说法正确的是：

A.一个消费者组内的消费者数量必须等于主题的分区数

B.消费者组通过ZooKeeper管理偏移量（Offset）

C.同一分区的数据只能被消费者组中的一个消费者消费

D.消费者组的Rebalance操作不会影响数据消费的顺序性

8.某企业需构建实时数据大屏，要求延迟低于1秒，支持高并发写入，最适合的技术栈是：

A.Flink+Redis+Grafana

B.SparkStreaming+HBase+Kibana

C.Storm+HDFS+Tableau

D.MapReduce+MySQL+PowerBI

9.数据治理中的主数据管理（MasterDataManagement，MDM）主要解决的问题是：

A.数据存储的冗余问题

B.跨系统关键业务实体（如客户、产品）的一致性问题

C.实时数据与历史数据的融合问题

D.数据隐私的合规性问题

10.在隐私计算（Privacy-PreservingComputation）中，联邦学习（FederatedLearning）的核心特点是：

A.数据不出域，通过模型参数交换实现联合训练

B.对原始数据进行加密后集中存储

C.使用同态加密技术直接计算密文数据

D.通过可信执行环境（TEE）隔离计算过程

二、填空题（每题2分，共20分）

1.HBase中，RegionServer的默认端口号是________。

2.SparkRDD的转换操作（Transformation）中，________用于将多个RDD按元素位置合并为元组。

3.数据仓库的分层架构中，ODS层通常存储________数据（填写数据特征）。

4.Kafka的主题（Topic）中，消息的最小存储单元是________。

5.Flink的状态后端（StateBackend）中，________模式将状态存储在TaskManager的内存中，仅元数据存储在Checkpoint中。

6.数据湖仓一体（LakeHouse）的核心技术是________，用于支持事务性操作和ACID特性。

7.分布式计算框架中，________机制通过记录任务执行过程中的中间状态，实现故障恢复。

8.