Apache RocketMQ for AI,面向AI应用的异步解决方案.pptx

Apache RocketMQ for AI,面向AI应用的异步解决方案.pptx

ApacheRocketMQforAI

面向AI应用的异步解决方案

01AI场景下异步架构的新挑战

02LiteTopic:面向AI场景的轻量级事件载体

03基于LiteTopic实现精细化流控

04基于LiteTopic的异步AI会话网关

05实操演示

1.AI场景下异步架构的新挑战

行为模式:主动执行,拆解目标,自主决

策,完成任务,业务流程不固定

业务时长:不可预测性更高,平均耗时

长,部分场景可达分钟级甚至更长

交互方式:单次任务交互次数更多,需要

高效的状态管理和会话管理

运行成本:GPU的运算成本远高于

CPU,AI应用的成本压力

文档评论(0)

1亿VIP精品文档

相关文档