DCOSonYARN在中国移动.PDFVIP

DCOS on YARN 在中国移动 的实践 中国移动苏州研发中心 陶捷 2016年12月 提 纲 1. Slider on YARN 2. Jenkins in Docker on YARN 3. 未来规划和展望 为什么需要DCOS • 苏研聚焦大数据的技术研究及产品研发 ，对内服务中国移动各省公司、专业公司 ， 降本增效 ；对外助力各行各业提升IT能力 ，实现价值。 • 大数据平台基于开源Hadoop软件面向公司内外提供DaaS、PaaS和SaaS服务 ，提供 统一的运营管理平台。 计算任务 ：MR、Hive、Spark 长时服务 ：HBase、Storm、Tomcat 应用 大数据平台 （Hadoop ） 管理 多租户 统一资源管理 资源隔离 DCOS方案 ：Mesos VS YARN YARN 在Mesos上支持Hadoop任务 ？ 在YARN上运行长时服务 ？ My riad 关于Slider 由Hortonworks主导开发 ，基于Hoya项 目 支持long-running服务能够不经改动 ，直接运行在Yarn上 • Slider成为Apache孵化项 目 2014-5 • 2014-5 发布 0.30.0 • 2015-10 发布 0.81.0 • 2016-6 发布 0.91.0 Slider架构 SliderClient appConfig.json —用户通过SliderClient创建和管理应用生命周期 —应用安装包的管理 SliderAppMaster — 与YARN交互获取应用的资源 — 接收客户端请求 ，并分发给Agent SliderAgent — 应用的配置和启动 ，启动的app组件为Comp inst. — 与AppMaster进行心跳交互 ，并检查服务的状态 resources.json — 应用端口的动态分配 — 执行AM发送过来的应用管理命令 App Package —应用的定义及管理脚本 ，其中应用的定义文件包括 appConfig.j son和resource.j son 混布集群 VS Slider部署 混布集群 • 传统混布集群 Ø 资源无法统一管理 Hbase Task Mapreduce Ø 多租户实现依赖应用本身 Tomcat HBase YARN Ø 资源利用率低下 • 使用Slider管理服务 All on YARN via Slider Ø 统一管理计算资源 HBase Tomcat Ø 资源利用率高 ，更具有弹性 Ø 使用统一的权限管理、运维监 Slider Mapreduce 控