40.第四章-YARN--YARN产生的背景、初始YARN、YARN的架构、YARN调度器.pptx

;课程目标;;

YARN产生背景;思考现实生活的例子;如何解决？;;4.1.2MapReduce1架构;;4.1.4MapReduce1局限性;1.JobTracker访问压力大，影响系统扩展性，不适合所有大型计算。主要表现在大型集群上。官方称当节点数达到4000，任务数达到40000，MapReduce会遇到可扩展瓶颈。

其他：

2.难以支持除MapReduce之外的框架，如Spark、Storm等。

3.JobTracker单点故障（因为Hadoop1.0的本身就有单点故障）。;4.1.5MapReduce2;

初识YARN;4.2.1YARN-进程;4.2.2YARN-Web界面;4.2.3什么是YARN;4.2.3什么是YARN;4.2.4YARN在Hadoop生态圈中位置;

YARN架构;ResourceManager;YARN中资源包括内存、CPU、磁盘输入输出等等。Container是YARN中资源的抽象，它封装了某个节点上的多维度资源。;ResourceManager负责整个系统的资源分配和管理，是一个全局的资源管理器。主要由两个组件构成：调度器和应用程序管理器：

调度器（Scheduler）：

调度器根据资源情况为应用程序分配封装在Container中的资源。

应用程序管理器（ApplicationManager）：

应用程序管理器负责管理整个系统中所有应用程序。;NodeManager是每个节点上的资源和任务管理器。

定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态；

接收并处理来自ApplicationManager的Container启动/停止等请求。

;ApplicationMaster是一个详细的框架库，它结合从ResourceManager获得的资源和NodeManager协同工作来运行和监控任务。

用户提交的每一个应用程序均包含一个ApplicationMaster。

主要功能包括：

1)、与ResourceManager调度器协商以获取抽象资源（Container）；

2)、负责应用的监控，跟踪应用执行状态，重启失败任务等；

3)、并且与NodeManager协同工作完成Task的执行和监控。

备注：第五章MRAppMaster是MapReduce时的ApplicationMaster的一种实现。;4.3.2YARN中应用（Application）运行机制（流程）;4.3.3YARN中任务进度监控;4.3.4MapReduce1与YARN组成对比;4.3.5YARN对MapReduce运行性能提升;

YARN调度器(Scheduler);4.4.1YARN调度器;4.4.1YARN调度器;4.4.1YARN调度器;4.4.1YARN调度器;4.4.1YARN调度器;4.4.2三种调度器比较;

小结;4.5.1小结;感谢您的聆听！