04.GPU容器与AI训练平台探索与实践-陈瀚刘东阳(4).pdfVIP

GPU容器与AI训练平台探索与实践

陈瀚vivo互联网容器架构师刘东阳vivoAI工程架构师

Part01第一部分｜vivoGPU平台架构

目录CONTENTSPart02第二部分｜GPU容器能力实践

Part03第三部分｜AI工程训练平台实践

Part04第四部分｜vivoGPU未来展望

1.vivoGPU平台架构

智能计算业务

语言大模型语音大模型视觉大模型

蓝心小v、游戏助手、本地搜索…实时翻译、方言随心说…AI绘画、人像消除、相册回忆…

商业化广告算法内容推荐算法游戏推荐算法

训练平台推理平台

模型开发、模型训练推理服务部署、管理

AI工程层

AI业务队列影像业务队列

OS业务队列互联网业务队列

资源管理编排调度

统一调度、部署、管理GPU弹性伸缩、训推潮汐部署、卡调度策略

容器平台层

GPU虚拟化多容器网络

MIG虚拟化、内核层虚拟化、CUDA层虚拟化Calico、Hybridnet、Sriov(RDMA)

物理层GPU服务器分布式存储高性能网络

（基础设施）英伟达、异构卡…轩辕存储、HDFS…RoCEv2、IB…

2.1大规模容器集群稳定性

第二部分｜GPU容器能力实践2.2GPU容器提效降本实践

2.1大规模GPU容器集群稳定性背景

大规模集群运维工作繁重

日常运维工作量大