3-1浙江移动数据中心操作系统(DCOS)实践分享.pptx

中国移动数据中心操作系统 实践 第一部分 走向DCOS之路 第二部分 中国移动DCOS实践 第三部分 经验与分享 云计算驱动企业IT架构演进 “烟囱”式IT系统架构 从2G到4G，中国移动业务发展的井喷，带来了IT系统的迅猛发展 竖井化巨石型应用的负面作用逐步凸显 IOE VS 去IOE？ ITIL 瀑布式开发 VS DEVOPS 敏捷开发？ 集中式架构 VS 分布式架构？ 商业 VS 开源？ 打破竖井、应用和平台解耦、打破供应商绑定 敏捷建设、聚焦支撑业务 统一管理建设运营，提升运维效率、提升资源利用率，降低TCO 小前台大中台 企业 IT 架构演进 资源池化、云化IT架构 业界云化建设场景 1. 重心 - 从资源到业务 2. 建设模式 – 烟囱式到平台化 3.能力 – 组件到服务 4. 架构 – 集成到开放 WHY DCOS？Ｘ86化，虚拟机化等于云化吗？ （CMCC） （领先互联网公司） （传统企业整体） 应用的快速部署开通受到极大制约：大部分应用系统在开发、测试、准发布和生产部署都有各自的环境，部署环境不一致，增加了测试的复杂度，导致需求的上线环节多、时间长，无法满足业务快速上线的要求 传统虚拟化只能实现虚机级弹性伸缩，效果极其有限：伸缩范围只能是一台物理机，超过就是应用自己的事情。资源静态部署，峰值申请。忙闲时资源难以有效动态调整，无法做到弹性扩展，按需使用。 现有资源利用率非常低： CPU平均利用率（10-20%）明显低于互联网公司 （50%以上）。TCO高，投资效益低下 基于IaaS层的云化先天不足：静态部署、只能大切小不能小聚大、不能维持应用环境的自动化封装...... WHY DCOS？IAAS时代云化问题剖析 异地大二层？混合云部署？在线灰度发布？...... 资源动态共享 Hadoop Pregel MPI 静态分区 动态共享 WHY DCOS？不仅仅是容器 我们做的是DCOS的推广应用，不是容器的推广应用。后者只是前者的子集 DCOS Linux OS DCOS Resource Management Linux Kernel Mesos Process Management Linux Kernel Docker Job Scheduling init.d, cron Marathon, Chronos Inter-Process Communication Pipe, Socket RabbitMQ File System ext4 HDFS, Ceph 数据中心操作系统（DataCenter Operating System，DCOS）是为整个数据中心提供分布式调度与协调功能，实现数据中心级弹性伸缩能力的软件堆栈。它将所有数据中心的资源当做一台大型计算机来调度，可以视作这个大型主机的操作系统。 注：以Mesos为例，来自互联网 技术架构选型 Mesos Yarn Kubernetes Docker M+C+S CF/OpenShift 调度级别 二级调度 （Dominant Resource Fairness） 二级调度 （FIFO，Capacity Scheduler，Fair Scheduler） 二级调度（基于Predicates和Priorities两阶段算法） 一级调度 （提供Strategy 和Filter两种调度策略） CF 一级调度 （基于Highest-scoring调度策略）/OpenShift使用Kubernetes 生态活跃 活跃 活跃 非常活跃 活跃 一般 适用场景 通用性高，混合场景 大数据生态场景 目前较单一 较单一 较单一 成熟度 高 高 中 低 中 应用与平台耦合度 低 中 中 低 高 应用案例分析 Twitter、Apple、Airbnb、Yelp、Netflix、ebay、Verizon Hadoop生态圈应用 目前快速发展中，生产环境应用较少 很少 较少，PaaS整体解决方案，应用与平台的耦合度较高 根据对适合构建DCOS的各种技术架构的评估，选择以Mesos为基础的方案。优点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低。 中国移动DCOS建设历程 2014年起，中国移动开始了数据中心操作系统的探索，并成功的应用于生产。 浙江移动手机营业厅系统成功迁移至DCOS平台，成为中国移动首个运行在DCOS架构下的生产系统； DCOS平台顺利通过双11手机营业厅充值1折秒杀活动验证 第一部分 走向DCOS之路 第二部分 中国移动DCOS实践 第三部分 经验与分享 DCOS功能框架 以开源技术Mesos +Marathon为核心 、结合Docker、HAProxy，在其上开发了DCOS控制台、资