王元良-增强型+RunC+的最佳实践：克服离线高压力混部场景的关键挑战pptx.pdfVIP

增强型RunC的最佳实践 克服离线高压力混部场景的关键挑战 贝联珠贯 王元良 王元良 贝联珠贯，合伙人、单机系统负责人 负责单机系统方向的研发和AI方向的探索，经验集中在 IoT、云 IaaS、 容器、资源隔离、软硬结合以及系统稳定性。曾参与过大型网络操作 系统研发，大规模混合部署研发，对资源弹性隔离，软硬一体存储优 化有深刻理解。 目录 • 业务背景 • 增强型RunC方案 • 最佳实践 • 演进与展望 背景 离线混部的背景 – 大数据离线现状 数据生态系统 数据开发产品服务 数据应用产品服务 机器学习产品服务 … … … … 数百万任务数 上万物理机数 典型的离线潮汐现象 离线混部的实践 目标 1.降本目标：为ML业务提供混部算力，减少业务采购物理机， 降低成本 2.稳定性目标：离线集群稳定性和ML混部算力的稳定性需要得 到保障 混部架构方案 如何建设基于YARN，K8s，ML调度混部系统 YARNK8s 混部资源调度 Yarn 和K8s的资源如何协调和调度 RunC 实践 内存边界，CPU边界等问题导致的稳定性问题如何解决 场景问题  业务价值(混部高压力情况下，机器不夯)  每天1+%hang机率  一周hung task 28.8%  三周hung task 98% 场景问题 K8s 单机指标 增强型RunC方案 增强型RunC理念 集群操作系统 vs 单机driver 后验 - 先验 先于业务感知 按业务的语言表达 先于业务发现问题 资源面波动先于业务波动 健康度门限 高压力场景下，如何保证机器不挂 健康度门限效果 集群资源变化趋势 先于业务发现 集群资源问题 最佳实践 离线混部的实践 – 混部架构方案 方案 优势 劣势 1.对大数据架构无侵入 ， 1.ML任务需要使用Ubuntu OS ， ML on Yarn 改造成本低 ； 物理机无法支持双系统 ； 2.统一Yarn资源调度管理 ；2.Docker on yarn模式不成熟 ， 落地难 ； 1.大数据引擎改造成本非常大 ； All on K8s 1.资源调度统一管理 ； 2.无法平滑升级 ，任务迁移成本