跟谁学大数据开发面试真题及详细答案（真实面试版）.docxVIP

跟谁学大数据开发面试真题及详细答案（真实面试版）

说明：所有题目均为跟谁学大数据岗位历年真实面试题，答案摒弃模板化套话，采用面试临场口语化回答，贴合在线教育业务场景，覆盖基础、原理、调优、数据问题、项目实战、场景应用题，适配校招、社招面试。

一、Hadoop核心面试题（跟谁学高频基础题）

1、简单说下HDFS读写流程，面试不用太繁琐，说核心步骤

参考答案：

读流程核心步骤：客户端先向NameNode请求读取文件，NameNode校验权限和文件存在性，返回文件对应的块存储节点列表。客户端直接就近连接DataNode读取数据块，优先读取本地、同机架节点数据，读完所有块后合并成完整文件。全程NameNode只负责调度，不传输数据，保证读写效率。

写流程核心步骤：客户端向NameNode发起写文件请求，NameNode校验后创建文件目录，不写入数据。客户端将文件切分块，通过副本机制，优先同机架、跨机架的节点策略，把数据写入对应的DataNode。写完后DataNode返回确认信息，最终客户端告知NameNode写入完成，更新文件元数据。

2、HDFS小文件过多的危害，以及你实际工作中怎么解决的？

参考答案：

主要危害：第一，占用NameNode大量内存，因为每个文件、块的元数据都存在NameNode内存里，小文件多会直接导致内存溢出、集群卡顿；第二，任务调度效率极低，MapRed