主资源公平调度算法在YARN中的应用的研究.docVIP

主资源公平调度算法在YARN中的应用的研究 　　摘要：Apache Hadoop YARN是一种新的通用的Hadoop资源管理器，是在Mapreduce1的基础上发展起来的，该引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。为此，文章在分析了Hadoop YARN计算框架的基本结构和工作流程，重点研究了Hadoop YARN中的多资源分配机制，尤其是主资源公平调度算法（Dominant Resource Fairness，DRF）在YARN中的应用。 　　关键词：Hadoop；YARN；资源调度器；资源分配算法；DRF 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）05-0173-03 　　1 YARN的基本结构及工作流程 　　1.1 YARN 基本架构 　　YARN是Hadoop 2.0中的资源管理系统，它是在MapReduce的基础上发展起来的，与MapReduce不同的是，MapReduce有一个全局的管理器JobTracker，而YARN将JobTracker的功能拆分开来，成为了两个独立的管理器ResourceManager和 ApplicationMaster。ResourceManager负责全局的资源管理， ResourceManager负责单个应用程序的管理。 　　1.2 YARN基本组成结构 　　和MRv1一样，YARN也是Master/Slave结构，不过在YARN中有一个ResourceManager作为Master负责对各个Slave（NodeManager）上的资源进行统一的管理和调度。用户提交的应用程序需要提供一个ApplicationMaster跟踪和管理这个程序，它将向ResourceManager申请资源，之后会启动NodeManager任务。本小节我们将介绍YARN的基本组成结构。 　　1.2.1 ResourceManager（RM） 　　ResourceManager作为Hadoop全局的资源管理器，主要是负责YARN的资源管理和分配。它由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。 　　1）调度器 　　调度器和MRv1的一样，可以根据多种限制条件（如容量、队列等），将资源分配给系统中各个正在运行的应用程序。该调度器不从事任何与具体应用程序相关的工作（如监控或者跟踪应用的执行状态、重新启动因应用执行失败或者硬件故障而产生的失败任务），这些都由应用程序相关的ApplicationMaster完成。当应用程序需求资源时，调度器会将资源分配单位被抽象成一个“资源容器”（Resource Container，简称Container）分配出去。此外，调度器是可插拔的，同时用户只要实现了Hadoop提供的接口就可以实现自己的调度器。YARN也实现了多种直接可调用的调度器，比如公平调度器（Fair Scheduler）[1]和计算能力调度器（Capacity Scheduler）[2]等。 　　2）应用程序管理器（Applications Manager，ASM） 　　Applications Manager是一个管理整个系统中所有应用程序的管理器，主要功能包括提交应用程序、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster等。 　　1.2.2 ApplicationMaster（AM） 　　用户提交的每个应用程序均包含1个ApplicationMaster，主要负责：1）与ResourceManager调度器协商以获取资源（用Container表示），2）将任务分配给内部的任务，3）启动/停止任务、监控所有任务运行状态，若任务失败则重启任务。 　　1.2.3 NodeManager（NM） 　　NodeManager是每个节点上的资源和任务管理器，主要负责：1）定时地通过心跳的方式向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态；2）它接收并处理来自ApplicationMaster的Container启动/停止等各种请求。 　　1.2.4 Container 　　YARN中对资源抽象是用Container表示的，包括内存、CPU、磁盘、网络等多维度的资源都进行了封装，当ApplicationMaster向ResourceManager申请资源时，ResourceManager为ApplicationMaster返回的资源便是用 Container表示的。每个任务都会被分配一个Container，且该任务只能使用该Container中的资源，与MR