【2025年】大数据面试真题及答案.docx

【2025年】大数据面试练习题及答案

Q1：HDFS中机架感知（RackAwareness）的具体实现机制是什么？生产环境中未正确配置机架感知会导致哪些问题？

A1：HDFS机架感知通过节点的网络拓扑信息（通常由管理员配置脚本或API定义）实现，核心是将集群节点按物理机架分组。NameNode在分配副本时遵循“第一个副本在本地节点，第二个副本在不同机架的节点，第三个副本与第二个同机架但不同节点”的策略（若副本数3则随机选择其他机架）。这种设计平衡了数据可靠性与读取性能——跨机架副本避免单机架故障导致数据丢失，同机架副本减少跨交换机流量，提升读取效率。

若未正确配置机架感知，NameN