BAT大数据高频面试题及详细答案（实战版）_1.docxVIP

BAT大数据高频面试题及详细答案（实战版）

本套题目适配一线互联网大数据岗位面试，涵盖Java基础、Hadoop、Hive、Spark、Flink、数据仓库、数据倾斜、性能调优、项目实战等核心考点，答案均为职场实战总结，贴合真实面试话术，无书面化套话。

一、Hadoop核心面试题

1、简单说说HDFS的架构和工作机制

HDFS采用主从架构，核心分为三个角色：NameNode、DataNode、SecondaryNameNode。

NameNode是主节点，负责管理整个文件系统的元数据，包括文件目录、文件块位置、权限信息等，不存储真实数据，只维护元数据，同时接收客户端的读写请求、分配数据块存储位置。

DataNode是从节点，集群中大部分节点都是DataNode，负责实际存储文件数据块，默认块大小128M，同时会定时向NameNode上报心跳和块状态信息，保证集群节点存活和数据一致性。

SecondaryNameNode不是NameNode的备用节点，核心作用是辅助NameNode做元数据合并。NameNode运行时会产生fsimage元数据镜像和edits编辑日志，长期运行日志会无限增大，SNN会定时拉取日志和镜像，合并生成新的镜像文件，减轻NameNode压力，同时用于故障恢复。

读写机制核心：客户端读写数据先找NameNode获取元数据和节点位置，之后直接和DataNode