大数据工程师招聘的常见问题及答案.docxVIP

第PAGE页共NUMPAGES页

2026年大数据工程师招聘的常见问题及答案

一、单选题（共10题，每题2分，合计20分）

1.在Hadoop生态系统中，HDFS主要用于存储大规模数据集，其设计原则不包括以下哪项？

A.高容错性

B.高吞吐量

C.低延迟访问

D.分布式存储

答案：C

解析：HDFS优化的是高吞吐量（适合批处理）而非低延迟访问，低延迟场景通常使用其他存储系统（如Redis或Memcached）。

2.以下哪种算法不属于MapReduce的典型阶段？

A.Map

B.Shuffle

C.Reduce

D.Sort

答案：D

解析：Sort操作发生在Shuffle阶段内部，Map和Reduce是核心计算阶段。

3.Spark中，RDD的持久化方式中，哪种存储在内存优先，但会占用更多资源？

A.persist()

B.cache()

C.deserialization

D.diskOnly

答案：B

解析：cache()默认采用MEMORY_ONLY策略，优先内存存储，而persist()可配置存储级别。

4.在Kafka中，消费者组（ConsumerGroup）的主要作用是？

A.实现数据备份

B.提高消息吞吐量

C.并发消费消息

D.自动分区数据

答案：C

解析：消费者组允许多个消费者协作消费同一主题的数据，避免重复处理。

5.以下哪种技术最适合实时数据流处理？

A.Hive

B.SparkSQL

C.Flink

D.HBase

答案：C

解析：Flink专为流处理设计，支持事件时间处理和低延迟。

6.机器学习中的交叉验证（Cross-Validation）主要解决什么问题？

A.数据倾斜

B.过拟合

C.样本偏差

D.特征选择

答案：B

解析：交叉验证通过多次训练/测试分割评估模型泛化能力，防止过拟合。

7.以下哪种文件格式适合分布式存储且支持压缩？

A.JSON

B.Avro

C.XML

D.CSV

答案：B

解析：Avro支持数据序列化压缩，且文件结构紧凑，适合大数据场景。

8.在分布式计算中，数据本地性（DataLocality）指的是什么？

A.数据分散存储在不同节点

B.计算任务尽量在数据所在的节点执行

C.数据需要全局复制

D.数据必须集中存储

答案：B

解析：数据本地性优化任务调度，减少网络传输成本。

9.以下哪种工具常用于数据ETL（抽取、转换、加载）？

A.TensorFlow

B.ApacheSqoop

C.PyTorch

D.KafkaConnect

答案：B

解析：Sqoop用于Hadoop与关系型数据库数据交换。

10.在大数据处理中，数据湖（DataLake）的核心优势是？

A.结构化数据存储

B.无需模式设计

C.实时查询支持

D.高一致性保证

答案：B

解析：数据湖支持原始数据存储，无需预先定义模式，适合多源数据整合。

二、多选题（共5题，每题3分，合计15分）

1.Hadoop生态系统中，以下哪些组件属于YARN（YetAnotherResourceNegotiator）的子模块？

A.NameNode

B.ResourceManager

C.DataNode

D.NodeManager

答案：BD

解析：ResourceManager和NodeManager是YARN的核心组件，NameNode和数据Node属于HDFS。

2.SparkSQL中，以下哪些操作属于DataFrame/Dataset的核心功能？

A.SQL查询

B.机器学习建模

C.数据聚合

D.事务管理

答案：AC

解析：SparkSQL支持SQL查询和数据聚合，机器学习建模和事务管理属于其他模块。

3.Kafka集群中，以下哪些角色是核心组件？

A.Producer（生产者）

B.Broker（代理）

C.ZooKeeper

D.Consumer（消费者）

答案：BCD

解析：Broker是消息存储节点，ZooKeeper负责集群协调，Consumer是消息消费者。

4.以下哪些技术可用于大数据分布式计算？

A.MPI

B.Hadoop

C.Spark

D.Docker

答案：BC

解析：Hadoop和Spark是大数据计算框架，MPI用于高性能计算，Docker是容器技术。

5.机器学习特征工程中，以下哪些方法属于特征提取技术？

A.标准化（Normalization）

B.特征编码（One-Hot）

C.PCA降维

D.树模型特征选择

答案：CD

解析：标准化和特征编码属于数据预处理，PCA