从烟囱到积木:基于 openYuanrong 的 AI Infra 实践.pptx

从烟囱到积木:基于 openYuanrong 的 AI Infra 实践.pptx

从烟囱到积木:基于openYuanrong的AIInfra实践

吴杰

华为系统软件架构师

目录

03

02

Agent服务的变化:从毫秒级的无状态请求到小时级的有状态session

session状态:

1.历史上下文

2.内部任务状态3.…

Session1Session2

Agent服务的挑战:提升长程session并发度和资源利用率

问题2.session运行过程中的线程cpu负载低

Session运行时间占比

Agent实例(忙)

Agent网关

Session路由

Session状态

Session状态

Session状态

Sess

文档评论(0)

1亿VIP精品文档

相关文档