大语言模型服务管理的实践分享.docx

大语言模型服务管理的实践分享

王夕宁/马元元阿里云

演讲嘉宾

王夕宁

阿里云容器服务技术研发负责人

阿里云容器服务Kubernetes及ServiceMesh技术研发负责人,拥有100多项相关领域的国际技术专利,专注于Kubernetes/云原生/服务网格等领域。

曾在IBM研发中心工作,担任资深架构师和技术专家，主导和参与了一系列SOA中间件和云计算领域的产品研发，并曾担任中国研发中心专利技术评审委员会主席。出席过行业内多个技术大会，包括Kubecon、

InfoQ、ArchSummit、IstioCon和云栖大会等。同时，著有畅销书《Istio服务网格解析与实战》。

1.LLM服务管理的特征与挑战

目录CONTENTS

目录

CONTENTS

3.现有的技术基础之上扩展支持

4.MSM:用于管理GenAI/LLM工作负载的统一方式

PART01

LLM服务管理的特征与挑战

GenAI/LLM服务管理面临独特的挑战

传统网络流量管理

GenAI/LLM流量管理

?请求/响应大小较小

?由于多模态流量，请求/响应大小较大

?许多查询可以并行处理

?单个大语言模型查询经常占用100%的TPU/GPU计算时间

?请求一到达就进行处理

?请求等待可用的计算资源

?处理时间以毫秒计算

?处理时间从几秒到几分钟不等

?相似请求可以从缓存中得到处理

?每次请求通常生成唯一内容

?请求成本由后端管理

?根据请求将流量路由到更便宜或更昂贵的模型

?传统的轮询或基于利用率的流量管理

?具备AI感知的负载均衡能力

流量请求调度TrafficRequestScheduling

由于GenAI/LLM模型的?回归特性，LLM推理请求的有效服务?临不可预测的执?时间的挑战。

LLM服务系统?多采?先进先出（FCFS）调度，遭受??阻塞（head-of-line）问题。

基于历史数据和模型特性，训练出一个代理模型，用于预测每个推理请求的序列长度。

利用代理模型的序列长度预测的推测最短作业优先（SSJF）调度器。

PART02

应对思路与方案

SSJF调度器-引入Token长度预测器

End

Users

请求批 处理Request

请求批

处理

RequestPool

R1请

R1

求

R2队

R2

的处理列R3Model, Input

的处理

列

R3

···

···

预测Token长度

?输出Token长度（N）决定了请求的执行时间（T），因为T=C+K×N，?K是生成一个标记的延迟，

?C是模型服务系统的开销，包括DNS查找、代理、排队和输入标记化。

?K取决于模型优化技术（例如，量化）和执行环境（例如，硬件），对于所有输入都是相同的。

?输出Token长度决定执行时间（线性关系）

Ref：/James-QiuHaoran/LLM-serving-with-proxy-models

智能工作负载优先级调度

令牌桶

令牌填充率

?服务在处理每个请求之

获得令牌或者

获得令牌或者继续等待

令牌?

?加权公平排队调度器实

?

加权公平排队调度器实施优先级和公平性。

WFQ调度器高优先级

WFQ调度器

高优先级

分类

分类

获得令牌的请

获得令牌的请求处理

目标服务中优先级

目标服务

中优先级

丢弃的请求处理

丢弃的请求处理

?对请求进行标记

?对请求进行标记

低优先级

低优先级

智能工作负载管理-流量调度管理套件

优先处理工作负载，保障关键用户体验路径使用权重公平排队,根据业务价

优先处理工作负载，保障关键用户体验路径

使用权重公平排队,根据业务价值和请求紧急程度调整资源分配,来实现应用程序的优雅降级

?

??超出此限制的任何请求将进入队列，并根据它们的优先级在有能力提供服务时予以处理

?

?用于根据重要性调度请求，同时确保应用遵守并发限制。

流量调度管理套件

统一的流量请求调度器

?基于闭环反馈来逐步增加系统的工作负荷或请求量，而不是瞬间施加大的负载。

?基于闭环反馈来逐步增加系统的工作负荷或请求量，而不是瞬间施加大的负

载。

?能够帮助系统逐步适应增加的负荷，从而确保系统在负载增加过程中仍然稳定运行，并最大限度地减少对系统的冲

击。

?

统一的策略资源定义及

控制器

?通过细粒度标签识别单个用户,根据业务特定标签控制爆发能力和填充速率;

?

?限制每个用户或全局并发中请求的并发量;

?

?通过缓存成本高昂的操作，防止对按使用付费