2025年数据科学与大数据技术考试题及答案.docxVIP

2025年数据科学与大数据技术考试题及答案

一、单项选择题（每题2分，共20分）

1.以下哪项不是数据清洗中处理缺失值的常用方法？

A.直接删除含缺失值的记录

B.用特征均值/中位数填充

C.建立预测模型填充缺失值

D.对缺失值列进行独热编码

答案：D（独热编码用于类别特征离散化，非缺失值处理方法）

2.在机器学习中，若模型在训练集上准确率为95%，测试集上准确率为60%，最可能的原因是？

A.模型欠拟合

B.模型过拟合

C.数据存在标签错误

D.学习率设置过低

答案：B（训练集表现远好于测试集，典型过拟合特征）

3.Hadoop生态中，负责资源管理和任务调度的组件是？

A.HDFS

B.YARN

C.MapReduce

D.HBase

答案：B（YARN是Hadoop的资源管理系统）

4.特征工程中，对“用户年龄”（取值范围0-120）进行分箱处理时，若采用等频分箱，主要目的是？

A.减少计算复杂度

B.使每个分箱内样本数量均衡

C.保留原始数值的精确性

D.增强模型对异常值的鲁棒性

答案：B（等频分箱关注分箱内样本数量均衡）

5.以下哪项不是SparkRDD的特性？

A.不可变（Immutable）

B.支持分布式计算

C.自动持久化到磁盘

D.基于内存计算

答案：C（RDD默认存储在内存中，需显式调用persist()/cache()持久化）

6.在K-means聚类中，若选择初始质心时过于集中，可能导致的问题是？

A.聚类结果受离群点影响大

B.收敛速度变慢

C.陷入局部最优解

D.计算复杂度显著增加

答案：C（初始质心集中可能导致聚类无法找到全局最优划分）

7.关联规则挖掘中，若某规则的支持度为0.3，置信度为0.8，提升度为1.2，则以下说法正确的是？

A.该规则在数据集中出现的概率为30%

B.置信度表示规则前件和后件的相关性强度

C.提升度大于1说明规则有效

D.支持度反映规则的可靠性

答案：C（提升度1表示前件对后件有正向促进作用）

8.以下哪种算法属于无监督学习？

A.逻辑回归

B.随机森林

C.K近邻

D.主成分分析（PCA）

答案：D（PCA用于降维，无标签参与）

9.实时数据流处理中，Flink与SparkStreaming的主要区别是？

A.Flink基于微批处理，SparkStreaming基于事件驱动

B.Flink支持毫秒级延迟，SparkStreaming延迟较高

C.Flink仅支持批处理，SparkStreaming支持流处理

D.Flink不支持状态管理，SparkStreaming支持

答案：B（Flink是真正的流处理引擎，延迟更低）

10.以下哪项是时间序列预测中处理季节性波动的常用方法？

A.差分法

B.移动平均法

C.STL分解（季节趋势分解）

D.主成分分析

答案：C（STL专门用于分解时间序列的季节、趋势和残差成分）

二、填空题（每空2分，共20分）

1.混淆矩阵中，TP表示真正例，FN表示假负例。

2.梯度下降算法中，每次仅用1个样本更新参数的方法称为随机梯度下降（SGD），用全部样本更新的方法称为批量梯度下降（BGD）。

3.Spark的核心抽象是RDD（弹性分布式数据集），其计算模式是惰性求值（延迟执行）。

4.关联规则的两个核心度量指标是支持度和置信度。

5.LSTM（长短期记忆网络）通过输入门、遗忘门和输出门三种门控机制解决RNN的长依赖问题。

6.大数据存储中，HBase基于LSM树（日志结构合并树）实现高效的写操作，而ClickHouse采用列式存储优化查询性能。

三、简答题（每题8分，共40分）

1.简述数据清洗的主要流程及各步骤的核心任务。

答案：数据清洗流程包括：（1）数据质量检测：通过统计缺失值比例、异常值分布、数据一致性（如日期格式）等定位问题；（2）缺失值处理：根据业务场景选择删除、填充（均值/中位数/众数）或模型预测填充；（3）异常值处理：通过IQR法（四分位距）或Z-score法识别，选择删除、修正或保留（如业务特殊值）；（4）数据标准化/归一化：消除量纲影响，如Z-score标准化（均值0，标准差1）或Min-Max归一化（0-1区间）；（5）一致性处理：统一文本大小写、单位（如将“kg”和“千克”合并）、纠正格式错误（如日期“2023