阿里巴巴调度与集群管理系统Sigma.pdfVIP

阿里巴巴调度与集群管理系统 Sigma Liping Zhang 张瓅玶 Principal Engineer, Alibaba 阿里巴巴 Liping Zhang 张瓅玶 Alibaba Principal Engineer 阿里花名谷朴。2017年加入阿里巴巴。阿里巴巴系统软件部研究员 ，调度系统首 席架构师。 之前在Google的基础设施事业群的集群管理部门工作了5年多 ，并领导了资源管 理和优化调度团队 ，负责Borg以及基础存储资源的优化 ，负责了FlexBorg, Autoscaling等多个产品。加入Google前在加州大学伯克利分校从事智能系统的 研究工作。本科和博士毕业于清华大学。 调度系统业界现状 •  开源领域 ：Kubernetes ，Docker Swarm, Mesos, Yarn等 •  闭源 ，基于开源的改造或者开源兼容系统 ：Borg ，Fuxi ，Sigma等 •  在线和离线任务混部 ：已知主要是Borg •  资源利用率状况 ：Borg领先 真正的挑战？ 在实际工程中落地 ，实现资源效率和运维效率的提升 •  Sigma调度系统整体架构和历史演进 •  架构和实现的特点 •  调度及资源优化 •  展望 阿里调度系统整体架构和历史演进 历史状况 •  历史状况 BU1 BU2 BU… T41 CPU T41 CPU:1% 1,2,3,4… 0.5% •  各个部门资源池独立 T42 CPU:20% 1 .. ….. ….. ….. •  独立研发 ，多套调度系统 BU 宿主机物理资源各 ⾃⾏彼此割裂使⽤ T4 ⼤量各种形式的 分组集合（含 + •  容器演进 ：T4-Pouch 蚂蚁） 众多物理分组 阿里调度系统整体架构和历史演进 l 问题 ： ü 规模：各T4分组规模不一，大部分都是小规模：资源碎片化。 ü 调度：T4分组内小规模调度，核心应用打散受限。 ü 资源分配：双11期间参差不齐： ² 交易相关CPU充分售卖，无空闲CPU。 ² 但众多T4分组，宿主机尚未分配容器实例。 ü 资源利用率非常不均衡： ² 部分分组CPU满负载运行（高达45-50% ） ² 但相当多的分组CPU几乎完全空闲 系统整体架构和历史演进 l 改变 ：云化架构 ，混合云 Sigma11 ü 规模：统一大资源池模式。