大语言模型服务管理的实践分享.pptxVIP

  • 5
  • 0
  • 约4.58千字
  • 约 30页
  • 2026-04-07 发布于北京
  • 举报

大语言模型服务管理的实践分享

王夕宁/马元元阿里云

阿里云容器服务Kubernetes及ServiceMesh技术研发负责人,拥有100多

项相关领域的国际技术专利,专注于Kubernetes/云原生/服务网格等领域。曾在IBM研发中心工作,担任资深架构师和技术专家,主导和参与了一系列SOA中间件和云计算领域的产品研发,并曾担任中国研发中心专利技术评审委员会主席。出席过行业内多个技术大会,包括Kubecon、

InfoQ、ArchSummit、IstioCon和云栖大会等。同时,著有畅销书《Istio服务网格解析与实战》。

王夕宁

阿里云容器服务技术研发负责人

演讲嘉宾

1.LLM服务管理的特征与挑战

2.应对思路与方案

3.现有的技术基础之上扩展支持

4.MSM:用于管理GenAI/LLM工作

负载的统一方式

目录

CONTENTS

PART01

LLM服务管理的特征与挑战

传统网络流量管理

GenAI/LLM流量管理

•请求/响应大小较小

•由于多模态流量,请求/响应大小较大

•许多查询可以并行处理

•单个大语言模型查询经常占用100%的TPU/GPU计算时间

•请求一到达就进行处理

•请求等待可用的计算资源

•处理时间以毫秒计算

•处理时间从几秒到几分钟不等

文档评论(0)

1亿VIP精品文档

相关文档