大数据集群实战面试题及详细答案（接地气实战版）.docx

大数据集群实战面试题及详细答案（接地气实战版）

一、大数据集群基础概念面试题

1、简单说下大数据集群的核心组成，日常工作中各组件负责什么？

参考答案：

大数据集群核心就是存储、计算、调度、中间件四大块，日常各司其职，没有花里胡哨的概念：

1）存储核心：HDFS。负责存所有离线数据、日志、数仓分层数据，是整个大数据集群的底层存储，所有计算组件都依赖它读读写写。

2）资源调度：YARN。相当于集群的“资源管家”，统一管理服务器的CPU、内存，给Spark、MapReduce、Flink任务分配资源、排队调度，防止任务抢资源崩集群。

3）离线计算：Hive、MapReduce。Hive是数仓工具，