2026年大数据常见面试题及答案.docxVIP

2026年大数据常见面试题及答案

Q1：HDFS中NameNode如何管理元数据？FsImage和EditLog的作用及关系是什么？

A：NameNode通过内存中的元数据树（FsImage的内存表示）和持久化日志（EditLog）共同管理文件系统元数据。FsImage是元数据的完整快照，存储文件目录结构、块与文件的映射、副本数等信息；EditLog记录所有对元数据的修改操作（如创建文件、删除目录、调整副本数）。当NameNode启动时，会将FsImage加载到内存，然后重放EditLog中的操作，恢复最新元数据状态。

为避免EditLog过大导致启动时间过长，SecondaryNameNode（或CheckpointNode）会定期执行合并操作：拉取NameNode的FsImage和EditLog，在本地合并提供新的FsImage（checkpoint），再将其推回NameNode替换旧的FsImage，并清空EditLog。需要注意，SecondaryNameNode并非NameNode的热备，其合并操作是周期性的，若NameNode宕机，最新的元数据修改可能因未合并到FsImage而丢失，因此生产环境通常使用HA架构（通过JournalNode共享EditLog）实现主备NameNode的元数据同步。

Q2：YARN的资源调度机制中，容量调度器（Capacity