2026年云上贵州大数据集团招聘面试题及答案.docxVIP

2026年云上贵州大数据集团招聘面试题及答案

一、技术类问题

1.请结合实际场景，说明Hadoop生态中HDFS、YARN、MapReduce的协同工作流程，并举例说明你在项目中如何优化过Hadoop集群的性能。

答案：Hadoop生态中，HDFS负责分布式存储，YARN负责资源管理与任务调度，MapReduce是计算框架。三者协同流程为：用户提交作业后，YARN的ResourceManager（RM）为作业分配ApplicationMaster（AM）；AM向RM申请资源，并与NodeManager（NM）通信启动Container；MapReduce任务被拆分为Map和Reduce阶段，数据通过HDFS读取，计算过程中中间结果暂存本地磁盘，最终结果写回HDFS。

在某智慧城市项目中，我负责优化气象数据处理集群（日均数据量800GB）。原集群存在两个问题：一是Map任务因小文件过多导致大量进程开销；二是Reduce阶段数据倾斜严重，部分节点计算耗时过长。优化措施包括：

（1）使用CombineTextInputFormat合并小文件，将输入分片大小从128MB调整为512MB，Map任务数减少40%；

（2）对Reduce阶段的Key进行分析，发现80%的Key集中在“暴雨预警”标签，通过自定义Partitioner将高频Key随机分配到多个Reduce任务，