大语言模型服务管理的实践分享.pptx

大语言模型服务管理的实践分享

王夕宁/马元元阿里云;阿里云容器服务Kubernetes及ServiceMesh技术研发负责人,拥有100多项相关领域的国际技术专利,专注于Kubernetes/云原生/服务网格等领域。

曾在IBM研发中心工作,担任资深架构师和技术专家，主导和参与了一系

列SOA中间件和云计算领域的产品研发，并曾担任中国研发中心专利技术评审委员会主席。出席过行业内多个技术大会，包括Kubecon、

InfoQ、ArchSummit、IstioCon和云栖大会等。同时，著有畅销书

《Istio服务网格解析与实战》。;

1.LLM服务管理的特征与挑战

2.应对思路与方案

3.现有的技术基础之上扩展支持

4.MSM:用于管理GenAI/LLM工作负载的统一方式;

PART01

LLM服务管理的特征与挑战;

传统网络流量管理;

由于GenAI/LLM模型的?回归特性，LLM推理请求的有效服务?临不可预测的执?时间的挑战。

LLM服务系统?多采?先进先出（FCFS）调度，遭受??阻塞（head-of-line）问题。;

PART02

应对思路与方案;

?输出Token长度（N）决定了请求的执行时间（T），因为T=C+K×N，?K是生成一个标记的延迟，

?C是模型服务系统的开销，包括DNS查找、代理、排队和输入标记化。

?K取决于模型优化技术（例如，量化）和执行环境（例如，硬件），对于所有输入都是相同的。;

获得令牌的请求处理

丢弃的请求处理;

?通过限制并发中请求的数量，防范服务突然过载。

?超出此限制的任何请求将进入队列，并根据它们的优先级在有能力提供服务时予以处理

?用于根据重要性调度请求，同时确保应用遵守并发限制。

流量调度管理套件;

服务网格技术;

模型网格代理;

PART03

现有的技术基础之上扩展支持;

模型网格代理;;;

?自动完成HTTP到HTTPS协议升级

?自动配置model、

stream以及API_KEY。;

LLM请求路由;;

API_KEY管理;;

多种安全模型：基于入口网关、sidecar以及基于出口网关应用无感;

多种安全能力，全方位保障LLM应用安全;

多种安全能力，全方位保障LLM应用安全;

多种安全能力，全方位保障LLM应用安全;

可观测;

PART04

ModelServiceMesh:用于管理GenAI/LLM工作负载的统一方式;

ModelServiceMesh=

ServiceMesh+ModelServicePipeline

服务网格数据面服务编排数据面;;

THANKS