大数据开发面试题及答案（贴近真实面试场景）.docxVIP

大数据开发面试题及答案（贴近真实面试场景）

一、基础概念与核心原理（考察基本功扎实度）

问题：HDFS的NameNode和DataNode核心职责是什么？实际部署中怎么避免NameNode单点故障？

答案：NameNode负责管理文件系统元数据（文件名、目录结构、数据块映射关系），不存储实际数据；DataNode负责存储数据块，执行读写操作并向NameNode汇报心跳和块信息。

单点故障解决方案：生产环境常用“主从NameNode+JournalNode”架构——主NameNode提供服务，从NameNode实时同步元数据（通过JournalNode共享编辑日志），当主节点故障时，从节点可快速切换为活跃状态；同时配置NameNode元数据的定时快照（fsimage）备份到异地存储，进一步降低风险。

问题：MapReduce的Map阶段和Reduce阶段分别做什么？Shuffle过程为什么是性能瓶颈，怎么优化？

答案：Map阶段负责读取输入数据、按业务逻辑处理（如过滤、转换），输出key,value键值对；Reduce阶段接收Map输出的相同key的value集合，进行聚合计算（如求和、统计）并输出结果。

Shuffle是Map输出到Reduce输入的中间过程（含分区、排序、合并、复制），涉及大量磁盘I/O和网络传输，所以是瓶颈。优化方向：①调整分区策略（如自定义Partitioner减少数据倾斜）；②增大Map端缓冲区（mapreduce.task.io.sort.mb），减少溢写次数；③启用Combine器（局部聚合，减少传输数据量）；④合理设置Reduce任务数（避免过多导致资源竞争，过少导致单任务压力大）。

问题：Spark的RDD、DataFrame、DataSet三者的区别？实际开发中怎么选择？

答案：RDD是弹性分布式数据集，面向过程编程，无schema约束，性能较差但灵活性高；DataFrame是带schema的分布式表，面向SQL风格编程，支持优化器（Catalyst），性能优于RDD；DataSet结合DataFrame的schema优势和RDD的强类型特性，编译时能做类型检查，适合复杂业务逻辑。

选择原则：简单数据处理（如过滤、转换）用RDD；结构化数据（如JSON、Parquet文件）且以聚合查询为主用DataFrame；复杂业务（如多表关联+自定义函数+类型安全要求）用DataSet。

二、技术实操与故障排查（考察实际动手能力）

问题：用HiveSQL统计一张千万级用户行为表（user_behavior，含user_id、action_time、action_type）中，近7天每个用户的不同行为类型数，怎么优化查询性能？

答案：首先明确需求核心是“用户粒度+近7天+去重计数”，优化步骤：

①分区表优化：如果表未分区，按action_time（如按天分区dt）创建分区，查询时指定wheredt=近7天起始日期，避免全表扫描；

②索引优化：对user_id创建位图索引（Hive支持位图索引，适合低基数列，但user_id基数高时不推荐，可改用分桶）；

③分桶优化：按user_id分桶（如分100桶），让相同user_id的数据落入同一桶，减少关联/聚合时的数据shuffle；

④SQL语法优化：用count(distinctaction_type)时，若数据倾斜严重，可改用groupbyuser_id,action_type先去重，再groupbyuser_idcount(1)，避免distinct导致的reduce单点压力；

⑤存储格式优化：将表存储格式改为Parquet（列式存储，支持谓词下推），并启用Snappy压缩，减少I/O传输量。

最终SQL示例：

SELECTuser_id,COUNT(1)ASaction_type_cnt

FROM(

SELECTDISTINCTuser_id,action_type

FROMuser_behavior

WHEREdtBETWEENAND--近7天分区

)t

GROUPBYuser_id;

问题：Spark作业运行时出现数据倾斜（某几个Reduce任务运行缓慢，其余快速完成），怎么定位和解决？

答案：定位方法：①查看SparkUI的Stage页