新一代Hadoop MR-YARN架构设计与优化分析.pdfVIP

新一代MR-YARN

•与MRv1比较：

从Hadoop0.23版本开始对于mapduce计算框架进行重新设计，这就是新的架构(YARN)。老版

本MRv1Jobtracker中存在单点，功能比较多的问题，负责调度和job的生命周期管理

(task调度，task过程状态，task处理容错)，这样当大量的任务需要处理时，单个的

jobtracker无论在内存还是其他资源方面总存在瓶颈，在伸缩性、资源利用率、运行除

mapreduce的其他任务等方面都会有限制。

MRv2Yarn框架把资源调度和task管理分离开来，由器NodeManager负责资源调

度，每一个application(job)由一个AppMaster负责对task进行调度管理，并且可以

AppMaster的状态，有问题可以在其他节点重启。

MRv1mapreduce框架使用slot做资源表示单位，并且mapslot和reduceslot分离的，这样资

源不能共享，资源利用率不高，yarn使用节点的cpu、内存等资源作为资源表示单位，大大提高

了资源利用率。

MRv1只支持批量的mapreduce计算，MRv2yarn框架ApplicationMaster插件式的框架

库，支持除了mapreduce外的其他的计算，如实时近实时的流处理，MPI等等，使得hadoop成

为一个资源和数据共享的基础计算框架，减少集群运维成本，提高资源利用率

YARN体系结构

YARN体系结构

yarn的架构，主要包括以下这几种角色

•ResourceManager(RM)：主要接收客户端任务请求，接收和NodeManager(NM)的资源情

况汇报，负责资源的分配与调度，启动和ApplicationMaster(AM)

•NodeManager：主要是节点上的，启动Container运行task计算，上报资源、

container情况给RM和任务处理情况给AM

•ApplicationMaster：主要是单个Application(Job)的task管理和调度，向RM进行资源的申请，

向NM发出launchContainer指令，接收NM的task处理状态信息

YARN-作业提交流程

YARN-作业提交流程

1、clientsubmit一个job到RM，进入RM中的Scheduler队列供调度

2、RM根据NM汇报的资源情况(NM会定时汇报资源和container使用情况)，请求一个合适的

NMlaunchcontainer，以启动运行AM

3、AM启动后，到RM上，以使client可以查到AM的信息，便于client直接和AM通信

4、AM启动后，根据Job相关的split的task情况，会和RM协商申请container资源

5、RM分配给AMcontainer资源后，根据container的信息，向对应的NM请求launchcontainer

6、NM启动container运行task，运行过程中向AM汇报进度状态信息，类似于MRv1中task的汇

报；同时NM也会定时的向RM汇报container的使用情况。

7、在application(job)执行过程中，client可以和AM通信，获取application相关的进度和状态信

息。

8、在application(job)完成后，AMRMclear自己的相关信息，并关闭，释放自己占用的

container。