Hadoop工程师面试题题库详解.docxVIP

Hadoop工程师面试题题库详解

面试问答题（共20题）

第一题：

请详细解释一下Hadoop的NameNode和DataNode各自的作用、特点及其相互关系。

答案：

NameNode(名称节点)

作用:

元数据管理:NameNode是HDFS的“大脑”，负责管理整个Hadoop集群的所有元数据（Metadata）。这包括：

文件系统命名空间:管理文件夹和文件的路径结构。

文件块（Block）信息:记录每个文件的块组成以及这些块分布在哪些DataNode上。

Namespace元数据:如权限信息（Owner,Group,Permissionbits）。

命名空间操作入口:Client（如Hadoop客户端、MapReduce任务）通过NameNode来执行所有的文件系统命名空间操作，例如：创建文件/目录、打开/关闭文件、删除文件/目录、重命名文件/目录、更改权限等。

命名空间镜像（NamespaceImage）:

元数据持久化:NameNode将当前的文件系统命名空间（包括权限等信息）以一个“命名空间镜像”（NamespaceImage）文件的形式写入到磁盘。这个镜像文件通常是HDFS文件系统中的一个文件。

重启恢复:当NameNode重启时（正常或非正常），它可以从这个磁盘上的镜像文件快速恢复当前的命名空间状态，ReducedNameSpaceRecovery（简称NSR）过程依赖于这个镜像。虽然现代Hadoop（如2.x及以后）更多采用更高效的editslog+checkpoint机制进行JournalNode恢复，但元数据的最终来源和概念基础仍是其管理命名空间。

编辑日志（EditLog/JournalNode）:

NameNode操作命名空间时，会先将修改记录在内存中的编辑日志（EditLog）中。为了防止NameNode意外崩溃导致丢失未保存的修改，高可用（HA）配置下会使用JournalNodes来并行接收这些编辑日志。如果NameNode崩溃，新的NameNode可以从JournalNodes中合并（合并Journal）这些编辑日志，恢复到一致的命名空间状态。

特点:

单点（或通过HA实现高可用）:传统的HDFS架构中，NameNode是单点故障（SinglePointofFailure,SPOF）。NameNode压力大，负责所有客户端的命名空间请求。

内存消耗大:需要加载整个文件系统的元数据到内存中（特别是块信息列表，BlockReport）进行高效查找。

处理能力强:需要能够高效处理来自客户端的各种文件操作请求和元数据更新。

DataNode(数据节点)

作用:

数据存储:DataNode负责在本地存储HDFS文件系统中的实际数据块（Blocks）。每个文件被分解成多个固定大小（默认64MB或128MB，现代Hadoop版默认1GB）的块，这些块会分布在不同的DataNode上实现数据的冗余存储（Replication）。

块管理:DataNode负责管理（列出、读取、写入）其上存储的数据块。它可以接收来自NameNode的命令来添加、删除或复制块。

心跳（Heartbeat）:定期向NameNode发送心跳信号。心跳中包含DataNode的存活状态以及它当前正在存储的所有块的列表（BlockReport），NameNode通过心跳了解集群中所有DataNode的健康状况和存储状态。

数据块服务:根据客户端或TaskTracker（MapReduce时代）的请求，DataNode提供数据块的读取（Read）和写入（Write）服务。它会根据NameNode分配的任务执行数据流的读写操作。

块复制（BlockReplication）:根据NameNode的指令，创建数据块副本并在DataNode之间移动副本，以实现故障容错和高可用。

特点:

可部署多台:DataNode可以部署在集群中的大量廉价的计算节点上，实现数据的分布式存储。

相对简单:相较于NameNode，DataNode的软件栈相对简单，主要关注数据的实际存储和基本的管理。

资源消耗相对较低:主要消耗是CPU进行I/O操作和网络带宽。

负载分散:数据存储负载分散到集群的多个节点上。

相互关系:

管理与被管理:NameNode是管理者，DataNode是被管理者。整个HDFS的存储和管理逻辑由NameNode负责制定和协调。

元数据与数据:NameNode存储和管理关于数据文件存储位置的元数据（哪些块在哪台DataNode上），而DataNode实际持有这些数据块。

请求处理与响应:

Client需要先与NameNode建立连接，向NameNode请求文件