许龙-B站容器平台混部和容量管理实践.docxVIP

B站容器平台混部和容量管理实践

B站容器平台混部和容量管理实践

B站资深开发/许龙

大纲各类混部场景的实践方案?CPU在离线混部：在线+转码、在线+大数据CPU潮汐混部：推搜+大数据GPU常态混部：推理+转码GPU潮汐混部：推理+训练?

大纲

各类混部场景的实践方案

?

CPU在离线混部：在线+转码、在线+大数据

CPU潮汐混部：推搜+大数据

GPU常态混部：推理+转码GPU潮汐混部：推理+训练

?

?

?

?

容量管理的实践方案

?

弹性伸缩：VPA和HPA

合池：quota管理、算力标准化容量运营与可视化

?

?

?

B站容器平台架构离线业务在线业务CPU核数：百万级除部分大数据、中间