2025年大数据工程技术人员初级理论考核试题及答案.docxVIP

2025年大数据工程技术人员初级理论考核试题及答案

一、单项选择题（每题1分，共30分）

1.在Hadoop生态中，负责资源管理与任务调度的组件是

A.HDFS??B.YARN??C.MapReduce??D.Hive

答案：B

解析：YARN（YetAnotherResourceNegotiator）是Hadoop2.x引入的资源管理层，负责集群资源分配与任务调度，解耦了计算与存储。

2.下列哪种文件格式最适合存储大量小文件且支持切分

A.ORC??B.Parquet??C.SequenceFile??D.TextFile

答案：C

解析：SequenceFile以键值对形式组织，内置压缩与切分支持，可合并小文件，降低NameNode内存压力。

3.Spark中RDD的默认分区数由哪个参数决定

A.spark.default.parallelism??B.spark.sql.shuffle.partitions

C.spark.executor.cores??D.spark.task.cpus

答案：A

解析：spark.default.parallelism控制RDD默认分区数，对未指定分区算子生效；B仅对DataFrameshuffle生效。

4.Kafka的consumergroup重平衡触发条件不包括

A.新consumer加入??B.consumer崩溃

C.topic分区扩容??D.broker宕机

答案：D

解析：broker宕机不会直接触发重平衡，只有consumer成员变化或订阅分区数变化才会。

5.在Flink的时间语义中，EventTime是指

A.数据进入Flink的时间??B.数据被处理的时间

C.事件在源头发生的时间??D.数据落盘的时间

答案：C

解析：EventTime由业务字段携带，需配合watermark处理乱序，保证结果一致性。

6.HDFS写入流程中，客户端首先与哪个节点交互

A.DataNode??B.SecondaryNameNode??C.NameNode??D.JournalNode

答案：C

解析：客户端写文件前需向NameNode申请block位置，获取DataNode列表后再建立pipeline。

7.下列哪项不是Hive支持的复合数据类型

A.STRUCT??B.MAP??C.ARRAY??D.SET

答案：D

解析：Hive支持STRUCT/MAP/ARRAY，无SET类型，可用ARRAY去重函数模拟。

8.在MySQLbinlog格式中，记录前后镜像的是

A.STATEMENT??B.ROW??C.MIXED??D.TRIGGER

答案：B

解析：ROW格式记录每行变更前后完整数据，方便CDC工具解析，但体积较大。

9.使用Sqoop将MySQL数据导入Hive时，若目标表已存在且需追加，应加参数

A.--create-hive-table??B.--hive-overwrite

C.--append??D.--hive-import

答案：C

解析：--append将新数据追加到已存在Hive表，避免覆盖历史分区。

10.在Elasticsearch中，用于精确匹配未分词值的查询是

A.match??B.term??C.range??D.wildcard

答案：B

解析：term查询对字段做精确匹配，不对搜索词分词，适合keyword类型。

11.数据仓库分层中，DWD层主要作用

A.保存原始日志??B.明细数据清洗与规范化

C.汇总指标计算??D.面向主题宽表

答案：B

解析：DWD（DataWarehouseDetail）对ODS层做清洗、脱敏、维度退化为后续计算服务。

12.在Scala中，下列哪个符号用于不可变变量声明

A.var??B.val??C.def??D.lazy

答案：B

解析：val声明不可变引用，var声明可变引用，两者均为Scala语法基础。

13.数据质量维度中，衡量同一指标在多系统中数值一致性的指标是

A.完整性??B.一致性??C.及时性??D.唯一性

答案：B

解析：一致性指跨系统同一业务含义数据值相同，需通过主数据管理或校验规则保障。

14.在Linux中，查看某目录磁盘占用的命令是

A.df-h??B.du-sh??C.ls-lh??D.top

答案：B

解析：du-sh统计