Hadoop入门教程：YARN资源调度与管理.pdfVIP

资源调度

的介绍：

是集群当中的系统模块，从开始引入模块可为各类计

算框架资源的管理和调度主要用于管理集群当中的资源（主要是服务器的各种硬件资

源，包括，内存，磁盘，网络等）以及调度运行在上面的各种任务。

出发点是为了分离与作业，实现分离的做法是拥有一个全局的资源管

理（，），以及每个应用程序对应一个的应用管理器

（，）

总结一句话就是说：主要就是为了调度资源，管理任务等

其调度分为两个层级来说：

一级调度管理：

计算内存，网络，磁盘

二级调度管理：

任务的计算模型管理的任务精细化管理

的文档说明：

集群的管理界面：

查看界面：

的主要组件介绍与作用

YARN总体上是Master/Slave结构，主要由、、

和等几个组件构成。

负责处理客户端请求对各上的资源进行统一管理和调度。给分配空

闲的运行并其运行状态。主要由两个组件构成：调度器和应用程序管理

器：

调度器：调度器根据容量、队列等限制条件，将系统中的资源分配给各个正

在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配

单位是。不负责或者应用程序的状态。总之，调度器根据应

用程序的资源要求，以及集群机器的资源情况，为应用程序分配封装在中的资

源。

应用程序管理器：应用程序管理器负责管理整个系统中所有应用

程序，包括应用程序提交、与调度器协商资源以启动、

运行状态并在失败时重新启动等，分给的的进度、状态也

是其职责。

是每个节点上的资源和任务管理器。它会定时地向汇报本

节点上的资源使用情况和各个的运行状态；同时会接收并处理来自

的启动停止等请求。

：

用户提交的应用程序均包含一个，负责应用的，应用执行状

态，重启失败任务等。是应用框架，它负责向协调资

源，并且与协同工作完成的执行和。

：

是中的资源抽象，它封装了某个节点上的度资源，如内存、、磁

盘、网络等，当向申请资源时，为

返回的资源便是用表示的。

的架构和工作流程

的调度器

我们都知道主要是用于做资源调度，任务分配等功能的，那么在当中，究竟使用

什么算法来进行任务调度就需要我们关注了，支持好几种任务的调度方式，不同的场

景需要使用不同的任务调度器

第一种调度器：FIFOScheduler（队列调度）

把任务按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给

队列中最头上的任务进行分配资源，待最头上任务需求满足后再给下一个分配，以此类推。

是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享

集群。大的任务可能会占用所有集群资源，这就导致其它任务被阻塞。

第二种调度器：CapacityScheduler（容量调度器，apache版本默认使用的调度器）

调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通

过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可

以通过设置多个队列的方式给多个组织服务了。除此之外，队列又可以垂直划分，

这样的多个成员就可以共享这个队列资源了，在一个队列，资源的调度是

采用的是先进先出策略。

第三种调度器：FairScheduler（公平调度器，CD本的hadoop默认使用的调度器）

调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设

置）。公平调度在也可以在多个队列间工作。举个例子，假设有两个用户和，他们分别拥

有一个队列。当启动一个而没有任务时，会获得全部集群资源；当启动一个后，

的会继续运行，不过一会儿两个任务会各自获得一半的集群资源。如果此时再启动

第二个并且其它还在运行，则它将会和的第一个共享这个队列的资源，也就是的

两个会用于四分之一的集群资源，而的仍然用于集群一半的资源，结果就是资源最终

在两个用户之间的共享

使用哪种调度器取决于当中的

yarn.resourceman