大数据集群高频面试题及详细答案（实战接地气版）.docxVIP

大数据集群高频面试题及详细答案（实战接地气版）

一、大数据集群基础核心面试题

1、简单说说大数据集群核心组件及各自作用？生产环境必备组件有哪些？

参考答案：

生产主流大数据集群核心组件分存储、计算、调度、协调、监控五大类，必备组件没有花里胡哨的选型，都是企业通用标配：

1）存储层：HDFS是核心，负责分布式文件存储，所有大数据数据底层都存在HDFS；HBase做分布式列式数据库，适配海量实时读写数据。

2）计算层：YARN是资源调度核心，管控集群CPU、内存资源，分配任务；MapReduce是离线计算引擎；Spark兼顾离线和实时计算，速度比MR快很多；Flink主打实时流式计算。

3）协调层：Zookeeper，核心负责集群节点注册、心跳检测、配置同步、分布式锁，所有组件的协调中枢。

4）调度层：Azkaban/Oozie，负责定时调度、依赖调度大数据任务。

5）数仓层：Hive，把SQL翻译成MR/Spark任务，让不懂代码的人也能操作大数据，构建数据仓库。

生产最小必备集群：HDFS+YARN+ZK+Hive，绝大多数中小企业都是这套基础架构。

2、HDFS的架构原理是什么？NameNode、DataNode、SecondaryNameNode各自职责？

参考答案：

HDFS是主从架构（Master/Slave），核心分为三个角色，生产中最关键的就是Name