数据工程师培训题库（附答案）.docxVIP

数据工程师培训题库（附答案）

一、数据采集与存储基础题

1.简述Kafka中消费者组（ConsumerGroup）的作用及工作机制。

答案：消费者组是Kafka实现消息广播与单播的核心机制，同一组内的消费者共同消费主题（Topic）的所有分区，每个分区只能被组内一个消费者消费，实现负载均衡；不同组的消费者可独立消费同一主题，实现消息多播。工作时，消费者组通过协调者（Coordinator）管理成员，当消费者加入或退出时，触发再平衡（Rebalance），重新分配分区与消费者的对应关系，确保分区被均匀消费。

2.对比HDFS与关系型数据库（如MySQL）在存储结构上的主要差异。

答案：HDFS采用分布式文件系统架构，存储大文件（通常128MB以上），以块（Block）为单位分散存储在集群节点，元数据由NameNode集中管理；文件结构为层级目录，无固定模式（Schema-on-Read）。关系型数据库采用行式存储，数据按表、行、列组织，严格遵循预定义模式（Schema-on-Write），支持事务和ACID特性，适合小文件、低延迟的随机读写。

二、数据处理与清洗中级题

3.写出Spark中RDD的persist()与cache()方法的区别，并说明如何选择存储级别。

答案：cache()是persist()的特例，等价于persist(Storag