开放式云计算平台架构与Hadoop体系结构详解.pptx

讲师：胤禛-YinZhen开放式云计算平台架构云计算发展情况-22

讲师介绍高磊16年工作经验曾任Accenture以及Microsoft的高级工程师曾任阿里巴巴集团、华为2012实验室架构师目前担任某大型集团云原生产品线产品规划总监

课程模块01.Hadoop体系架构-2YRAN

Hadoop体系架构-YRAN所在的位置

定位管理计算机资源提供用户接口一方面管理整个集群的计算资源（CPU、内存等）另一方面提供用户程序访问系统资源的API。分布式调度器的基本功能：Yarn

体系架构Yarn的主要思想是将MRv1版JobTracker的两大功能——资源管理和任务调度，拆分成两个独立的进程：资源管理模块全局资源管理进程ResourceManager任务管理模块任务管理进程ApplicationMasterYarn依旧是master/slave结构主进程ResourceManager是整个集群资源仲裁中心从进程NodeManager管理本机资源ResourceManager和从属节点的进程NodeManager组成了Hadoop2.0的分布式数据计算框架

体系架构从Yarn架构和Yarn任务执行过程能看出Yarn具有巨大优势：Yarn的设计大大减轻了ResourceManager的资源消耗，并且ApplicationMaster可分布于集群中任意一台机器，ApplicationMas