Hadoop跑满状态下Yarn资源管理谈光环大数据推出AI智客计划送2000助学金.pdfVIP

光环大数据--大数据培训人工智能培训 Hadoop 跑满状态下的Yarn 资源管理谈_光环大数据推出AI 智客计划送2000 助 学金 一、历史和由来 当下Hadoop 稳定在了2.x.x 版本，3.x 版本也基本production stable 了，虽然敢用的公 司很少。在Hadoop 2.x 后，都是用 Yarn (Apache Hadoop Yarn )来管理集群的计算资源。 随着互联网的发展，互联网公司的业务越来越复杂。早在10 年前，一个普通的小网站 有个50 台机器，能有20 个Web 服务器20 个数据库，公司内有10 来个应用系统，也就差 不多了。但像Google、BAT 这种巨无霸，很早就面临了大规模集群的管理问题，且问题越来 越大。随着网络的爆炸发展，网络巨头公司的业务线越来越多，越来越复杂。看看现在的 BAT，有多少业务线，内部有多少IT 系统在不停歇的运转。倘若应用的维护者，都自己维护 自己的物理机，那这些机器出问题后，维护成本简直无法估量。 于是，分布式操作系统就产生了。因此，现在单台操作系统管理本机的CPU、内存，分 布式操作系统就管理整个集群成千上万台机器的CPU、内存、甚至网络。 二、相同的领域、产品 资源管理领域： Google 先有了Borg，后又开源了 Kubernetes Hadoop 系有了Yarn 光环大数据 光环大数据--大数据培训人工智能培训 Twitter 开源了Mesos 因为Hadoop 的特点和历史原因，Hadoop 集群的资源管控发展到了Yarn 这套系统后， 基本就是由Yarn 来专门跑Hadoop 应用, 即 Mapreduce/Spark 等等计算作业。 那么Yarn 上面能否跑一些别的项目呢? 当然可以，需要自己编写一个on Yarn 的程序， 写自己的Application-Master (Hadoop: Writing Yarn Applications )和资源申请模块等。 on-Yarn 应用 笔者这里找了一些开源者尝试的on-Yarn 应用： Docker on YARN /strata/strata-ca-2017/public/schedule/detail/55936 Presto YARN Integratio https://prestodb.io/presto-yarn/ prestoDB/presto-yarn /prestodb/presto-yarn Introducing Hoya - HBase on YARN - Hortonworks /blog/introducing-hoya-hbase-on-yarn/ 光环大数据 光环大数据--大数据培训人工智能培训 但在实际的应用场景中，大多数规模以上公司光跑 Mapreduce/Spark 的Job ，集群资源 就都挤破头了，所以other on-Yarn Application ，不在本文的讨论范畴内。本文将讨论竞争激 烈且真正跑满了Hadoop Application 的 Yarn Cluster 。 三、多租户、并行APP 队列/标签 Yarn 设计的最大初衷，是多租户，并行APP 。 在早版本的 Jobtracker/Tasktracker 时期，整个集群是first-in-first-out 的调度策略。每个 APP 都在排队跑，一个APP 占不满集群的资源，整个集群的计算资源就浪费了。 到了Yarn 时期，可以允许多个APP 同时跑，按自己的需求共享集群资源。 队列/标签 队列 在