记忆感知的大模型KVCache优化马腾 .pdfVIP

记忆感知的大模型KVCache优

化

以KVCache为中心的开源推理框架Mooncake的技术实践

马腾|kvcache.ai/Mooncake开源社区

AICon上海2026

目录

01背景：从对话到多智能体协作

02核心视角：KVCache即物理工作记忆

03Mooncake：KVCache-Centric分离架构

04实战:OpenClaw+Mooncake尾延迟优化

05多Agent记忆优化的关键技术

06协议与缓存的融合—未来展望与社区路线

01

背景：从对话到多智能体协作

单一对话→工具调用→多Agent协作

Multi-Agent时代的到来

单一对话→工具调用→多Agent协作

系统提示词+工具描述+多轮历史+Agent间状态

庞大的工作记忆

从简单的人机对话，到复杂的多智能体协作工作流，每一次LLM调用都需要携带越来越大

的上下文窗口。