大数据开发面试题及详细答案.docxVIP

大数据开发面试题及详细答案

一、基础必考题（入门级，考察核心基础，每题必问）

1.请说说HDFS的架构，以及NameNode和DataNode的核心作用？

答案：HDFS是分布式文件系统，核心架构是“主从架构”，主要由NameNode（主节点）、DataNode（从节点）、SecondaryNameNode（辅助主节点）三部分组成，没有主从节点的单点故障（实际部署会做高可用）。

核心作用：

NameNode：相当于“大脑”，不存储实际数据，只存储元数据——比如文件的路径、文件名、文件切块信息（block大小、数量）、每个block对应哪些DataNode，以及文件的权限、副本数等。它的核心职责是管理元数据、接收客户端的读写请求，调度DataNode的工作，确保数据的一致性。

DataNode：相当于“手脚”，是实际存储数据的节点，把数据切成block（默认128M，可配置），每个block会存储多个副本（默认3个），分散在不同的DataNode上，保证数据容错。DataNode会定期向NameNode汇报自身的健康状态和存储的block信息，接收NameNode的指令（比如上传、下载、删除数据）。

补充：SecondaryNameNode不是NameNode的备份（高可用靠HA的StandbyNameNode），它的作用是定期合并NameNode的编辑日志（edits）和镜像