- 5
- 0
- 约4.58千字
- 约 30页
- 2026-04-07 发布于北京
- 举报
大语言模型服务管理的实践分享
王夕宁/马元元阿里云
阿里云容器服务Kubernetes及ServiceMesh技术研发负责人,拥有100多
项相关领域的国际技术专利,专注于Kubernetes/云原生/服务网格等领域。曾在IBM研发中心工作,担任资深架构师和技术专家,主导和参与了一系列SOA中间件和云计算领域的产品研发,并曾担任中国研发中心专利技术评审委员会主席。出席过行业内多个技术大会,包括Kubecon、
InfoQ、ArchSummit、IstioCon和云栖大会等。同时,著有畅销书《Istio服务网格解析与实战》。
王夕宁
阿里云容器服务技术研发负责人
演讲嘉宾
1.LLM服务管理的特征与挑战
2.应对思路与方案
3.现有的技术基础之上扩展支持
4.MSM:用于管理GenAI/LLM工作
负载的统一方式
目录
CONTENTS
PART01
LLM服务管理的特征与挑战
传统网络流量管理
GenAI/LLM流量管理
•请求/响应大小较小
•由于多模态流量,请求/响应大小较大
•许多查询可以并行处理
•单个大语言模型查询经常占用100%的TPU/GPU计算时间
•请求一到达就进行处理
•请求等待可用的计算资源
•处理时间以毫秒计算
•处理时间从几秒到几分钟不等
您可能关注的文档
- AI智能体与大模型解决方案.pptx
- DeepSeek等大模型工具使用手册(实战篇).pptx
- XXX有色XX新材料集团智慧园区项目调研纲要方案V3.0.docx
- XXX有色XX新材料集团智慧园区项目调研纲要方案V3.0.pdf
- 大模型备案脱敏版本.pptx
- 大模型概念、技术与应用实践.pptx
- 大模型态势管理对外分享.pptx
- 大模型应用第1章-绪论.pptx
- 大模型原理、技术与应用——从GPT到DeepSeek.pptx
- 2025-2030智能运动护具芯片国产替代供应链安全与成本控制研究.docx
- 码垛机器人国产替代调研.docx
- 2025-2030中国基因测序仪器国产替代进程与市场空间评估.docx
- 2025-2030中国碳化硅功率器件在新能源车中应用渗透与国产替代机遇报告.docx
- 2025-2030中国半导体材料国产替代进程与进口依赖度分析战略研究报告.docx
- 毫米波雷达国产替代研判.docx
- 2025-2030中国电子特气行业进口依赖现状与国产替代机遇.docx
- 2025-2030中国工业软件自主可控路径与国产替代机会报告.docx
- 2025-2030中国MEMS传感器产业链整合与国产替代机遇研究报告.docx
- 中美技术脱钩的上游断供冲击与国产替代的渗透率临界阈值 .docx
- 2025-2030中国第三代半导体氮化镓射频器件国产替代进程与市场机会评估.docx
原创力文档

文档评论(0)