大规模任务调度的性能突破.pdfVIP

腾讯云大规模任务调度系统的 架构蜕变 王旻 腾讯云 高级技术专家 王旻 alexmwang 腾讯云 高级技术专家 硕士就读于中科院计算所 ，有丰富的分布式调度系统理论和实践经验。 2015年加入腾讯 ，负责腾讯云CVM （云主机）和批量计算产品的设计和开发 ，致 力于打造高吞吐、高可用的调度系统和计算产品。 •  聚焦任务调度 •  任务调度的核心挑战 •  调度系统架构蜕变 •  调度系统实现细节 •  总结与心得 •  聚焦任务调度 •  任务调度的核心挑战 •  调度系统架构蜕变规律 •  调度系统设计与实现 •  心得体会 聚焦任务调度 •  分布式调度 •  用户之间 ，优先为哪些用户分配资源 •  任务之间 ，优先为哪些任务分配资源 •  任务调度 ，为任务分配机器资源 •  Google[1] ：task scheduling refers to the assignment of tasks to machines. 聚焦任务调度 •  任务调度 •  Task 和 Machine Scheduler •  公有云中的任务调度 VM ID, VM HOST •  VM 和 HOST ID •  Task - VM •  Machine - Host •  任务调度 ：为 VM 分配 HOST •  聚焦任务调度 •  任务调度的核心挑战 •  调度系统架构蜕变规律 •  调度系统设计与实现 •  心得体会 异构性 与 调度质量 •  HOST •  数据中心维护周期长、集群规模大 ，不同批次 HOST 在软硬件存在不同 •  HOST 新特性灰度 •  VM •  VM 不同实例机型 ，例如不同代次 ，GPU、FPGA 等 •  VM 反亲和性 ，并发创建打散、镜像缓存 •  趋势 •  不是所有 HOST 都能满足 VM 的需求 —— 硬性约束 •  满足 VM 需求的 HOST ，其满足程度是不同的 —— 软性约束 •  VM 和 HOST 是调度的主角 ，异构性增加了二者匹配的复杂度 ，必须考虑约束 可扩展性 与 调度吞吐率 •  HOST •  单Region ，数万台 物理服务器 •  VM •  云计算需求爆发式增长 ，潮汐式海量并发购买 •  CVM 直接用户 ：爬虫、秒杀抢购 •  CVM 间接用户 ：弹性伸缩、批量计算、竞价实例 •  规模大 ，时效性强 •  每小时 数万台 VM 购买请求 ，峰值每分钟 上千台 VM 购买请求 •  问题 •  CVM 当时的生产吞吐率为 100台/分钟 ，无法满足用户海量购买请求 •  Scheduler 成为整个系统的性能瓶颈 ，调度吞吐率不足 ，处理延迟增加 ，影响系统的可扩展性 •  用户等待时间延长 •  同时影响业务时效性和用户体验 核心挑战 •  保证调度质量的前提下 ，显著提升调度吞吐率 •  聚焦任务调度 •  任务调度的核心挑战 •  调度系统架构蜕变规律 •  调度系统设计与实现 •  总结与心得 调度系统架构演变