大数据hadoop及yarn基本架构和发展趋势.pptVIP

大数据Hadoop YARN 基本架构和发展趋势 主要内容 Hadoop YARN产生背景 1 Hadoop YARN基本架构 2 运行在YARN上的计算框架 3 YARN发展趋势 4 Hadoop YARN产生背景 1 Hadoop YARN基本架构 2 运行在YARN上的计算框架 3 YARN发展趋势 4 主要内容 Hadoop YARN产生背景  直接源于MRv1在几个方面的缺陷  扩展性受限  单点故障  难以支持MR之外的计算  多计算框架各自为战，数据共享困难  MR：离线计算框架  Storm：实时计算框架  Spark：内存计算框架 Hadoop 1.0和2.0 Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成； HDFS：NN Federation、HA； MapReduce：运行在YARN上的MR；  YARN：资源管理系统 主要内容 Hadoop YARN产生背景 1 Hadoop YARN基本架构 2 运行在YARN上的计算框架 3 YARN发展趋势 4 Hadoop YARN基本架构 Hadoop YARN各模块组成 ResourceManager  处理客户端请求 启动/监控ApplicationMaster 监控NodeManager  资源分配与调度 NodeManager  单个节点上的资源管理 处理来自ResourceManager的命令 处理来自ApplicationMaster的命令 ApplicationMaster  数据切分  为应用程序申请资源，并分配给内部任务  任务监控与容错 Hadoop YARN运行流程分析 Node Manager Node Manager Node Manager Resource Manager Application Master Client Client Client ① ② ③ ④ ⑤ ⑤ ⑤ ⑥ ⑥ Task Container Container Task Task Container Hadoop YARN容错 ResourceManager  存在单点故障； 正在基于ZooKeeper实现HA。 NodeManager  失败后，RM将失败任务告诉对应的AM；  AM决定如何处理失败的任务。 ApplicationMaster  失败后，由RM负责重启；  AM需处理内部任务的容错问题；  RMAppMaster会保存已经运行完成的Task，重启后无需重新运 行。 Hadoop YARN调度框架  双层调度框架  RM将资源分配给AM  AM将资源进一步分配给各个Task  基于资源预留的调度策略  资源不够时，会为Task预留，直到资源充足 与“all or nothing”策略不同（Apache Mesos） YARN Cluster (resource pool) Job1 (MR Appcation Master) Job2 (MR Appcation Master) Job3 (MR Appcation Master) free containers tasks JobTracker (job1,job2,job3) TaskTracker TaskTracker TaskTracker TaskTracker resources containers to launch (tasks) free containers containers to launch (tasks) free Containers (tasks) containers to launch MRv1 MRv2 Hadoop YARN资源调度器  多类型资源调度 采用DRF算法（论文：“Dominant Resource Fairness: Fair Allocation of Multiple Resource Types”）  目前支持CPU和内存两种资源  提供多种资源调度器 FIFO Fair Scheduler Capacity Scheduler  多租户资源调度器  支持资源按比例分配  支持层级队列划分方式  支持资源抢占 Hadoop YARN资源隔离方案  支持内存和CPU两种资源隔离  内存是一种“决定生死”的资源  CPU是一种“影响快慢”的资源  内存隔离  基于线程监控的方案 基于Cgroups的方案 CPU隔离  默认不对CPU资源进行隔离 基于Cgroups的方案 Hadoop YARN资源调度语义  支持的语义  请求某个特定节点/机架上的特定资源量  将某些节点加入（或移除）黑名单，不再为自己分配这些节点上 的