40yarnyarn产生的背景初始yarnyarn的架构yarn调度器.pptVIP

YARN 报告人： 曙光瑞翼教育品牌部 课程目标 ? 了解 YARN 出现的背景， YARN 的基本概念 ? 掌握 YARN 的组成部分，各组成部分的作用 ? MapReduce1 与 YARN 的区别 ? 掌握 YARN 三种调度器的特点、工作方法 目 录 01 02 03 04 05 YARN 产生的背景 初识 YARN YARN 架构 YARN 调度器 小结 0 1 YARN 产生背景 思考现实生活的例子 一个电子厂，刚开始是 1 老板 + 3 个工人 思考：随着业务扩大，订单将增加，工人增多。 电子厂会遇到哪些问题？ 问题一： 对于老板：订单进来，要分配任务。 工人增多，管理工作事情多。老板 很忙啊 !! 问题二：订单进来，工人数量是有 一个上限。如何安排协调资源，哪 些订单先处理？ 工人 1 其他问题： ....... 工人 2 工人 3 老板 客户 1 订单 客户 2 订单 如何解决？ 一个电子厂，刚开始是一个老板 + 3 个工人 随着业务扩大，订单将增加，工人增多。 思考：电子厂会遇到哪些问题？ 解决方法： (1) 增加拉长，负责跟进进度 (2) 采用合适的调度器处理订单。 老板 老板娘 客户 1 订单 客户 2 订单 拉长（ Line Leader ） 工人 1 工人 2 工人 3 4.1.1 Hadoop 主要组成 Hadoop 主要的组成 两类任务： Map 任务 + Reduce 任务 计算 MapReduce Hadoop 1.x 及之前 → MapReduce 1 Hadoop 2.x + → MapReduce 2 两个实现的版本 存储 HDFS 4.1.2 MapReduce 1 架构 Client ： 客户端 JobTracker ： 负责资源管理和所有作业的控制 TaskTracker ： 负责接收来自 JobTracker 的命令并执行 Client JobTracker TaskTracker TaskTracker TaskTracker Map 任务 Reduce 任务 Map 任务 Reduce 任务 Map 任务 Reduce 任务 4.1.3 MapReduce 1 工作流程 ( 了解即可 ) 客户端 任务 1 步：请求 5 步：反馈进度 2 步 : NameNode 分发数据 JobTracker 安排任务 DataNode TaskTracker 3 步：执行 任务 4 步：反馈进度 管理节点 JobTracker NameNode SecondaryNameNode 服务端 DataNode TaskTracker DataNode TaskTracker Hadoop 1.0 4.1.4 MapReduce 1 局限性 MapReduce 1 的 JobTracker 有多忙？ 1 、作业调度（把任务安排给 TaskTracker ） 2 、任务进度监控（跟踪任务、重启失败的任务；记录任务流水） 4.1.4 MapReduce 1 局限性 1. JobTracker 访问压力大，影响系统扩展性，不适合所有大型计算。 主要表现在大型集群上。官方称当节点数达到 4000 ，任务数达到 40000 ， MapReduce 会遇到可扩展瓶颈。 其他： 2. 难以支持除 MapReduce 之外的框架，如 Spark 、 Storm 等。 3. JobTracker 单点故障（因为 Hadoop 1.0 的本身就有单点故障）。 4.1.5 MapReduce 2 可以这样理解： MapReduce 2 →MapReduce + YARN 0 2 初识 YARN 4.2.1 YARN - 进程 4.2.2 YARN - Web 界面 4.2.3 什么是 YARN ? YARN ： Yet Another Resource Negotiator ，另一种资源协调者。 ? 最初是为了改善 MapReduce 的实现，但也是一种资源调度框 架，具有 通用性 ，可为上层应用提供统一的资源管理和调度， 可以支持其他的分布式计算模式（如 Spark ）。 ? 它的引入为集群在利用率、资源统一管理和数据共享等方面 带来了巨大好处。 4.2.3 什么是 YARN YARN 在 Hadoop 生态圈中位置 Ambari （安装部署工具） Hive Pig Mahout ... ) e 集 ) 数据分析引擎 机器学习算法库 m 采 ) 务 库 r 服 e e s 据 MapReduce p ... 擎 u l 志 引 F ( 日 调 a 数 B （离线计算） e 集 k e 协 H 式 采 o 式 布 o Z 布 ( 分 YARN 据 数 ) （资源调度框架） 具 ( 分