2025年大数据工程师职业资格认证考试题库（附答案和详细解析）（1118）.docxVIP

大数据工程师职业资格认证考试试卷

一、单项选择题（共10题，每题1分，共10分）

HDFS默认的块大小是？

A.32MB

B.64MB

C.128MB

D.256MB

答案：C

解析：HDFS设计为处理大文件，默认块大小为128MB（Hadoop2.x及以上版本），这一设计减少了NameNode的内存占用并优化了网络传输效率。错误选项中，32MB（A）和64MB（B）是早期Hadoop1.x的默认值，256MB（D）为可选配置但非默认。

MapReduce计算框架中，负责将Mapper输出数据按Key分组的组件是？

A.Splitter

B.Combiner

C.Shuffle

D.Reducer

答案：C

解析：Shuffle阶段负责将Mapper输出的键值对按Key分区、排序并传输到对应的Reducer，是MapReduce的核心数据交换过程。Splitter（A）负责输入数据分片，Combiner（B）是本地聚合优化，Reducer（D）负责最终计算，均不直接处理分组。

Hive的元数据默认存储在以下哪个数据库中？

A.MySQL

B.Derby

C.HBase

D.Redis

答案：B

解析：Hive元数据默认使用嵌入式数据库Derby存储表结构、分区等信息。生产环境中通常替换为MySQL（A）以支持多用户访问；HBase（C）是分布式存储，Redis（D）是内存数据库，均非Hive默认元数据存储。

SparkRDD的主要特性不包括？

A.不可变性

B.分区性

C.懒执行

D.实时性

答案：D

解析：RDD（弹性分布式数据集）的核心特性是不可变（A）、可分区（B）、懒执行（C），但Spark本身是批处理框架（SparkStreaming是微批处理），实时性（D）是流处理框架（如Flink）的特性。

Flink中用于处理乱序事件的时间类型是？

A.处理时间（ProcessingTime）

B.事件时间（EventTime）

C.摄入时间（IngestionTime）

D.窗口时间（WindowTime）

答案：B

解析：事件时间（B）基于数据本身携带的时间戳，是处理乱序数据的关键；处理时间（A）基于算子处理时刻，无法应对乱序；摄入时间（C）是数据进入Flink的时间，介于前两者之间；窗口时间（D）是逻辑概念，非时间类型。

数据清洗的主要任务是？

A.增加数据量

B.消除数据中的错误、冗余和不一致

C.提升数据维度

D.生成新的特征变量

答案：B

解析：数据清洗的核心是处理缺失值、异常值、重复值等问题，确保数据质量（B）。增加数据量（A）是数据采集任务，提升维度（C）和生成特征（D）属于特征工程。

以下哪项不属于大数据机器学习的典型应用场景？

A.用户画像聚类

B.实时库存预警

C.商品销量预测

D.垃圾邮件分类

答案：B

解析：实时库存预警（B）属于实时监控或流处理场景，依赖规则或阈值判断；用户聚类（A）、销量预测（C）、垃圾邮件分类（D）均需通过机器学习模型挖掘数据模式。

大数据场景中，数据脱敏技术主要用于解决？

A.数据存储容量问题

B.数据传输延迟问题

C.数据隐私泄露问题

D.数据计算效率问题

答案：C

解析：数据脱敏（如匿名化、去标识化）通过变换敏感信息（如身份证号、手机号）保护隐私（C）。存储容量（A）、传输延迟（B）、计算效率（D）分别由存储优化、网络优化、算法优化解决。

以下哪项是Hive元数据管理的核心内容？

A.数据文件存储路径

B.数据压缩算法

C.数据倾斜处理

D.表结构定义

答案：D

解析：元数据管理包括表结构（字段名、类型）、分区信息、存储格式等（D）。数据存储路径（A）是HDFS管理内容，压缩算法（B）是存储参数，数据倾斜（C）是计算优化问题。

YARN中负责为应用程序分配资源的组件是？

A.NodeManager

B.ApplicationMaster

C.ResourceManager

D.Container

答案：C

解析：ResourceManager（C）是全局资源管理器，负责集群资源的统一分配；NodeManager（A）管理单个节点资源，ApplicationMaster（B）协调单个应用的资源请求，Container（D）是资源分配的具体单元。

二、多项选择题（共10题，每题2分，共20分）

HDFS的主要特点包括？

A.适合低延迟访问

B.高容错性

C.支持小文件高效存储

D.分布式存储

答案：BD

解析：HDFS设计目标是高容错（B）和分布式存储（D），通过副本机制保证数据可靠。其不适合低延迟访问（A，侧重吞吐量）和小文件存储（C，小文件会占用大量NameNode内存）