大数据面试题V2.0（含详细实战答案）.docx

大数据面试题V2.0（含详细实战答案）

一、Hadoop核心面试题（基础+调优+故障）

1.简单说说HDFS的读写流程，面试重点说关键节点和容错机制

参考答案：

写流程核心步骤：客户端先向NameNode发起文件创建请求，NameNode校验权限、文件是否存在，校验通过后返回成功响应。客户端将文件切分固定Block（默认128M），以Packet数据包形式上传。

上传时采用流水线复制：客户端先写入第一个DataNode，第一个节点接收完成后同步给第二个，第二个同步给第三个（默认3副本），所有副本写入成功后，当前Packet才算写入完成。全部数据上传完毕，客户端通知NameNode关闭