基于Hadoop构建数据分析系统-资源YARN资源管理思想YARN资源管理思想.pptxVIP

负责人：郑美容目录Yarn概述01YARN架构021YARN资源管理思想Yarn概述YARN是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决旧MapReduce框架的不足。MapReduce在0.23的版本经过了一系列的优化，现在把MapReduce称为MapReduce2.0(MRv2)或叫Yarn，它能够支持多种编程模型，如Storm、Spark。Yarn舍弃了MRv1中的JobTrack和TaskTrack，采用一种新的MRAppMaster进行管理，并与Yarn中的两个守护进程ResourceManager和NodeManager一起协同调度和控制任务，避免单一进程服务的管理和调度负载过重。Yarn概述MapReduce2.0的原理：MapReduce2.0的原理是把JobTracker分成两部分，即资源管理和工作任务两个进程。也就是说有一个全局的进程ResourceManager（RM）和每个应用有一个NodeManager进程。ResourceManager和每个节点是主从关系，它在整个系统中，调配所有应用的资源。ResourceManager接受到客户端任务请求后，会交给某个NodeManager并启动一个进程MRAppMaster负责任务的完成。MRAppMaster分配任务到其他DataNode节点并启动TaskMaster进程。YARN架构YARN架构图如下：YARN架构ResourceManager 和每个slave节点的NodeManager (NM)构成一个计算框架。ResourceManager 对在系统中所有应用的资源分配拥有最终的最高级别仲裁权。NodeManager负责管理contrainer、监控资源使用情况（cpu、内存、磁盘、网络等），并向ResourceManager/Scheduler上报。每个应用的ApplicationMaster(AM)被用来和ResourceManager 进行资源谈判，并且和NodeManager一起执行和监控tasks。YARN架构其中ResourceManager 拥有两个主要的组件：调度器（Scheduler） 和资源管理器（ApplicationsManager）Scheduler主要负责对整个集群（CPU，内存）的资源进行分配和调度，分配资源以Container(可以理解为节点上的一组CPU和内存资源)的形式分发到各个应用程序中（如MapReduce作业），应用程序与资源所在节点的NodeManager协作利用Container完成具体的任务（如Reduce Task）。注意：Scheduler是个纯粹的调度器，意思是他不参与任何监控跟踪应用状态的工作，也不会保证在任务失败后重新启动任务。