Hadoop开发案例第5章 计算模型Yarn.pptxVIP

引言 Yarn是由早期的MapReduce经过架构变换而来，主要思路是把原有MapReduce架构分为两个资源管理和监控调度两个部分。Yarn舍弃了MRv1中的JobTrack和TaskTrack，采用一种新的MRAppMaster进行管理，并与Yarn中的两个守护进程ResourceManager和NodeManger一起协同调度和控制任务，避免单一进程服务的管理和调度负载过重。本章通过对Yarn的概念介绍、Yarn的执行过程、Yarn和MapReduce对比。让学生深刻理解和运用Yarn。 Yarn简介 MapReduce在0.23的版本经过了一系列的优化，现在把MapReduce称为MapReduce2.0(MRv2)或叫Yarn它能够支持多种编程模型，如Storm、Spark。 Yarn舍弃了MRv1中的JobTrack和TaskTrack，采用一种新的MRAppMaster进行管理， 并与Yarn中的两个守护进程ResourceManager和NodeManager一起协同调度和控制任务， 避免单一进程服务的管理和调度负载过重。 MRv2的原理是把JobTracker分成两部分，即资源管理和工作任务两个进程。也就是 说有一个全局的进程 ResourceManager(RM)和每个应用有一个NodeManager进程。 ResourceManager和每个节点是主从关系，它在整个系统中，调配所有应用的资源。 ResourceManager接收到客户端任务请求后，会交给某个 NodeManager 并启动一个进程 MRAppMaster负责任务的完成。MRAppMaster分配任务到其他 DataNode 节点并启动 TaskMaster进程。 Yarn的组成 Yarn 是一个新的资源管理平台，统管整个集群资源和调度任务，任务的分配、运行和 资源的配置都由 Yarn 负责。它的组成如下: (1)ResourceManager。 (2)NodeManager。 (3)ApplicationMaster。 (4)Container。 (5)MapTask。 (6)ReduceTask。 Yarn的执行过程 ResourceManager和每个节点的NodeManager（NM）形成数据计算框架。 ResourceManager是在整个框架系统中负责仲裁应用程序之间资源的最终决定者。 每个应用程序的ApplicationMaster实际上是一个框架特定的库，其任务是从ResourceManager协商资源以及与节点管理器（多个）的工作来执行和监视任务。 ResourceManager中有两个主要组件：调度和ApplicationsManager。 ApplicationMaster：检测状态和从调度中获取资源。 NodeManager：管理容器，检测资源使用情况并和ResourcerManager报告信息。 Scheduler：负责分配资源给正在运行的应用程序 Yarn的执行过程 Yarn的执行过程 （1）Client向ResourceManager提交任务。 （2）ResourceManager分配创建Container任务并告知NodeManger启动进程MRAppMaster。 （3）NodeManger接收指定并开辟空间启动MRAppMaster。 （4）NodeManger完成任务之后会及时汇报给ResourceManager。 （5）MRAppMaster和ResourceManager交互，获取运行任务所需要的资源。 （6）MRAppMaster获取资源后和NodeManger进行通信，启动MapTask或ReduceTask进程。 （7）任务正常运行，定时向MRAppMaster汇报工作情况 新旧MapReduce对比 (1)首先客户端不变，其调用API及接口大部分保持兼容。 (2)原框架中核心的JobTracker和TaskTracker不见了，取而代之的是ResourceManager, ApplicationMaster与NodeManager三个部分 (3)新框架设计减少了 JobTracker的资源消耗，并且让监测每一个Job子任务(tasks)状态的程序分布式化了，更安全、更优美。 (4)在新的 Yarn 中，ApplicationMaster是一个可变更的部分，用户可以对不同的编程模型写自己的 AppMst，让更多类型的编程模型能够跑在 Hadoop 集群中。 新旧MapReduce对比 (5)对于资源的表示以内存为单位，比之前以剩余slot数目更合理。 (6)老的框架中，JobTracker 一个很大的负担就是监控job下的tasks的运行状