YARN架构原理与MapReduce核心机制优化分析.pdfVIP

1.1.原MapReduce框架的不足

1.2.新版YARN架构的优点

2.YARN的重要概念

2.1.ResourceManager

2.2.NodeManager

2.3.ApplicationMaster

2.4.MRAppMaster

2.5.Container

2.6.Scheduler

2.7.YARNScheduler

2.7.1.FIFOScheduler

2.7.2.CapacityScheduler

2.7.3.FairScheduler

2.7.4.配置使用

3.YARN架构及各角色职责

4.YARN作业执行流程

1.YARN概述

YARN（YetAnotherResourceNegotiator），是开源ApacheHadoop分布式处理框架中的资源管

理和作业调度技术。它为上层应用统一的和调度，它的引入为集群在利用率、资源统一管

理和数据共享等方面带来了巨大好处。作为ApacheHadoop的组件之一，YARN负责将系统资源

分配给在Hadoop集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。它相当于一个

分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

YARN是Hadoop-2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的

不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop-2.X版本中重

新设计的这个YARN集群，具有更好的扩展性，可用性，可靠性，向后兼容性，以及能支持除

MapReduce以外的分布式计算程序。

YARN的基本思想是将和作业调度/监视的功能分解为单独的daemon(守护进程)，其拥有一个

全局ResourceManager(RM)和每个应用程序的ApplicationMaster(AM)。

1、YARN并不清楚用户提交的程序的运行机制

2、YARN只运算资源的调度（用户程序向YARN申请资源，YARN就负责分配资源）

3、YARN中的主管角色叫ResourceManager

4、YARN中具体运算资源的角色叫NodeManager

5、这样一来，YARN其实就与运行的用户程序完全解耦，就意味着YARN上可以运行各种类型的分布式

运算程序（MapReduce只是其中的一种），比如MapReduce、Storm程序，Spark程序，Tez程序，

……

6、所以，Spark、Storm等运算框架都可以整合在YARN上运行，只要他们各自的框架中有符合YARN规

范的资源请求机制即可

1.1.原版MapReduce框架的不

足1.2.新版YARN架构的优点

2.YARN的重要概念

2.1.ResourceManager2.

2.NodeManager2.3.

ApplicationMaster2.4.

MRAppMaster2.5.容器

2.6.调度程序2.7.YARN调

度程序2.7.1.FIFO调度程

序2.7.2.容量调度程序2.

7.3.公平调度程序2.7.4.配

置使用

3.YARN架构及各角色职责

4.YARN作业执行流程

1.YARN概述

YARN(YetAnotherResourceNegotiator)，是开源ApacheHadoop全局处理框架中的和作业

调度技术。它为上层应用统一的和调度，它的引入为集群在资源、资源统一管理和数据共

享等方面带来了巨大的好处。作为ApacheHadoop负责的之一，YARN组件系统将资源分配给在

Hadoop集群中运行的各种应用程序，并调度在不同集群节点上执行的任务。操作系统的平台，而

MapReduce等程序则实际上运行于操作系统之上的应用程序。

YARN是Hadoop‑2.x版本中的一