Glake：效透明的大模型显存管理和优化-2024年全球人工智能与大模型开发与应用.pdf

GLake：大模型时代显存+传

输管理与优化

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

蚂蚁集团-基础智能-AIInfra

赵军平

2024.5

提纲

•背景与技术挑战

•显存墙、传输墙

•GLake介绍：显存与传输优化

•训练场景

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

•推理场景

•其他：混部、serverless

•总结：开源

自我介绍

•赵军平，蚂蚁异构计算与推理引擎负责人

•CCFHPC和存储专委委员，~200中/美技术专利

•异构加速，虚拟化，K8S，推理优化，文件系统，企业级存储-保护等

•“数据密集型应用系统设计”译者

•2007~2019：EMC、DellEMC，Start-up

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

LLM技术挑战1：显存墙

•显存容量、访存带宽（特别是推理小batch场景）

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

单卡算力vs.访存带宽

模型参数量vs.单卡显存容量

Llama2-70B推理为例

•权重与KVcache的显存消耗分析（假定FP16未优化）

2机A100

4机L40/20

2机A100