阿里混部技术最佳实践.pdfVIP

阿里混部技术最佳实践 吕奇（花名 ：潇谦 ） 阿里巴巴高级技术专家 吕奇 花名潇谦 ，阿里巴巴高级技术专家 2014年加入阿里巴巴 ，是阿里巴巴大规模混部及容器化的项目 负责人 ，3次参与双11大促 ，目前主要负责阿里巴巴规模化混部、 在线存储计算分离、资损防控体系、统一日志中心。 •  混部简介 •  混部的历程 •  混部的架构 •  调度与内核 •  未来的展望 为什么要混部 各种数据报告都显示目前数据中 心的机器利用率平均在 10%左右 容灾、峰值 ，机器数冗余大 另一方面 ，大数据的普及 ，离线 分析作业越来越多 ，成本极高 如何解决 ？ 什么是混部 在线服务 离线计算 实时计算 把集群混合起来 ，将不同类型的任务调度到相同 的物理资源上 ，通过调度 ，资源隔离等控制手段, 保障SLO ，极大降低成本 ，我们称这样的技术为 混部（Co-loaction ） 在线离线的混部 在线优 就像是石块 ，且延时敏感 ， 先级⾼ 利用率不高 ，不可重跑 离线优 就像水和沙子 ，且延时不 先级低 敏感 ，利用率高 ，可重跑 低优先 当在线不忙时 ，离线就抢 占 ，反之则返还 ，甚至反哺 级牺牲 优先级 是可以进行混部 ，并带来 互补性 成本收益的两个前提条件 混部的使用场景 30%成本下降 日常可以提升利用率、 大幅度降低成本 10%交易流量 大促时可以通过挤占 离线的方式来抗住峰 值带来的压力 •  混部简介 •  混部的历程 •