大数据高频真实面试题（无模板化、企业实操版）.docxVIP

大数据高频真实面试题（无模板化、企业实操版）

一、Hadoop核心基础面试题（高频必问）

1、简单说说Hadoop的核心组件和各自作用？

Hadoop核心由三部分组成，是分布式数据存储和计算的基础框架。

HDFS分布式文件系统，负责海量数据的分布式存储，通过分块存储、副本机制保证数据可靠，解决单机硬盘存储上限问题，适配大数据量文件存储。

YARN资源调度框架，相当于集群的资源管家，负责统一管理服务器的内存、CPU资源，调度各个计算任务的运行、分配资源、监控任务状态，避免资源抢占和浪费。

MapReduce分布式计算框架，是离线批量计算的核心，通过分而治之的思想，将大任务拆分，通过Map阶段分片处理数据，Reduce阶段聚合汇总结果，完成海量数据的清洗、统计、计算。

2、HDFS的副本机制是什么？默认副本数、存放规则？

副本机制是HDFS保证数据高可用、不丢失的核心机制，文件上传时会自动复制多份分片存储。默认副本数为3。

存放规则遵循就近容错原则：第一个副本存客户端所在节点，第二个副本存同机架不同节点，第三个副本存不同机架节点。这样可以避免单节点、单机架故障导致的数据丢失，同时兼顾读写性能。

3、HDFS读写流程简单描述？

写流程：客户端先向NameNode请求上传文件，NameNode校验权限、目录，返回可存储的节点列表；客户端将文件切块，依次发