3-1 浙江移动数据中心操作系统(DCOS)实践分享.pptx

中国移动数据中心操作系统实践第一部分走向DCOS之路第二部分中国移动DCOS实践第三部分经验与分享云计算驱动企业IT架构演进企业IT架构演进“烟囱”式IT系统架构资源池化、云化IT架构从2G到4G，中国移动业务发展的井喷，带来了IT系统的迅猛发展竖井化巨石型应用的负面作用逐步凸显IOE VS 去IOE？ITIL 瀑布式开发 VS DEVOPS 敏捷开发？集中式架构 VS 分布式架构？商业 VS 开源？打破竖井、应用和平台解耦、打破供应商绑定敏捷建设、聚焦支撑业务统一管理建设运营，提升运维效率、提升资源利用率，降低TCO小前台大中台业界云化建设场景1. 重心 - 从资源到业务 2. 建设模式 – 烟囱式到平台化3.能力 – 组件到服务4. 架构 – 集成到开放传统建设模式私有云建设模式业务系统第三方应用开发运维业务系统业务系统业务系统运维运维运维运维中间件运维中间件PaaS+中间件运维PaaS+云服务物理机虚拟化运维IaaS+虚拟化容器虚拟机运维X86ARMX86X86X86小型机小型机(D) 平台化(A) 物理机(B) 虚拟化(C) 云化WHY DCOS？Ｘ86化，虚拟机化等于云化吗？传统孤岛标准化IaaS资源池化DCOS化PaaS和应用资源池化对数据中心内部整体目标架构没有统一的规划设计标准化的硬件和软件体系业务基础架构建设以月为单位通过虚拟化实现共享的基础架构业务基础架构建设以周为单位实现虚拟机级弹性伸缩通过服务化实现共享的平台架构业务基础架构建设以日为单位实现集群级弹性伸缩进程级细颗粒度资源共享资源动态调度业务基础架构建设以分钟为单位实现数据中心级弹性伸缩孤岛X86化虚拟化服务化智能化（CMCC）（领先互联网公司）（传统企业整体）简化高效灵活统一 降低风险 降低运营支出 降低资本支出 提高敏捷性 全面优化 部署效率弹性伸缩利用率WHY DCOS？IAAS时代云化问题剖析基于IaaS层的云化先天不足：静态部署、只能大切小不能小聚大、不能维持应用环境的自动化封装......应用的快速部署开通受到极大制约：大部分应用系统在开发、测试、准发布和生产部署都有各自的环境，部署环境不一致，增加了测试的复杂度，导致需求的上线环节多、时间长，无法满足业务快速上线的要求传统虚拟化只能实现虚机级弹性伸缩，效果极其有限：伸缩范围只能是一台物理机，超过就是应用自己的事情。资源静态部署，峰值申请。忙闲时资源难以有效动态调整，无法做到弹性扩展，按需使用。现有资源利用率非常低： CPU平均利用率（10-20%）明显低于互联网公司 （50%以上）。TCO高，投资效益低下异地大二层？混合云部署？在线灰度发布？......资源动态共享HadoopPregelMPI静态分区动态共享WHY DCOS？不仅仅是容器我们做的是DCOS的推广应用，不是容器的推广应用。后者只是前者的子集监控助力敏捷开发需求快速部署动态部署弹性扩缩容高可用容灾高资源利用率DCOS数据中心操作系统（DataCenter Operating System，DCOS）是为整个数据中心提供分布式调度与协调功能，实现数据中心级弹性伸缩能力的软件堆栈。它将所有数据中心的资源当做一台大型计算机来调度，可以视作这个大型主机的操作系统。 Linux OSDCOSResource ManagementLinux KernelMesosProcess ManagementLinux KernelDockerJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketRabbitMQFile Systemext4HDFS, Ceph注：以Mesos为例，来自互联网技术架构选型 根据对适合构建DCOS的各种技术架构的评估，选择以Mesos为基础的方案。优点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低。MesosYarnKubernetesDocker M+C+SCF/OpenShift调度级别二级调度（Dominant Resource Fairness）二级调度（FIFO，Capacity Scheduler，Fair Scheduler）二级调度（基于Predicates和Priorities两阶段算法）一级调度 （提供Strategy 和Filter两种调度策略）CF一级调度 （基于Highest-scoring调度策略）/OpenShift使用Kubernetes生态活跃活跃活跃非常活跃活跃一般适用场景通用性高，混合场景大数据生态场景目前较单一较单一较单一成熟度高高中低中应用与平台耦合度低中中低高应用案例分析Tw