Hadoop面试题目及详细答案.docxVIP

Hadoop面试题目及详细答案

一、基础概念题（入门必问，考察基础掌握度）

1.请说说你对Hadoop的理解，它主要解决什么问题？

答案：Hadoop不是一个单一工具，而是一个分布式计算和存储的开源框架，核心解决两个核心问题：一是海量数据的存储（比如TB、PB级数据），二是海量数据的并行计算。

举个实际场景：比如互联网公司每天产生的用户行为日志（浏览、点击、下单），数据量极大，单机存储存不下、单机计算算得慢，Hadoop就通过分布式集群，把数据分散到多台机器存储，同时让多台机器并行计算，提升处理效率，而且具备高容错性——某台机器挂了，数据和计算任务会自动切换到其他机器，不影响整体任务。

核心组件就是HDFS（存储）和MapReduce（计算），后来又衍生出YARN（资源调度），构成Hadoop的核心三大件。

2.HDFS的核心架构是什么？各个组件的作用是什么？

答案：HDFS采用主从（Master/Slave）架构，核心有三个组件：NameNode、DataNode、SecondaryNameNode，三者各司其职，没有单点故障（除了默认NameNode单点，实际生产会做高可用）。

1.NameNode（主节点）：相当于HDFS的“大脑”，不存储实际数据，只存储元数据——比如文件的路径、文件名、每个文件对应的数据块存在哪些DataNode上、数据块的副本数等。它负责接收客户