YARN的架构与原理大数据离线分析73课件讲解.pptxVIP

YARN的架构与原理大数据离线分析

教学目标1.掌握YARN核心架构

2.理解资源分配原理

1.YARN概述YARN是Hadoop2.x引入的资源管理系统，取代了Hadoop1.x的JobTracker和TaskTracker模式。它采用主从架构，支持动态资源分配和多应用框架（如MapReduce、Spark），允许集群资源共享，提高利用效率。YARN的核心功能包括资源协商、作业调度和监控，通过容器抽象化资源（如CPU和内存），确保隔离和可扩展性。

2.架构组件YARN的架构组件包括ResourceManager（RM）和NodeManager（NM）。RM是全局资源管理者，负责集群资源分配、应用调度和监控，采用高可用配置（如Active/Standby模式）避免单点故障。它维护资源队列，支持公平或容量调度器。NM则运行在每个节点上，管理本地资源，启动和监控容器，向RM报告心跳信息。

3.ApplicationMaster作用ApplicationMaster（AM）是每个应用的特定管理者，由RM启动，运行在NM的容器中。它负责应用的生命周期管理，包括资源请求、任务调度和进度监控。例如，在Spark应用中，AM向RM申请容器，然后分配给执行器进行计算。AM的优势在于解耦应用逻辑与资源管理，支持自定义框架，提高灵活性。它还处理任务失败重试，确保应用容错。通过与RM和NM的交互