从推理爆发到具身智能 AI新时代对网络基础设施的重新定义.docxVIP

从推理爆发到具身智能：

AI新时代对网络基础设施的重新定义

Agentic应用：多轮调用工具、长上下文，请求链显著变长AI模型从“单次响应”走向“Agentic+长上下文+MoE”

Agentic应用：多轮调用工具、长上下文，请求链显著变长

趋势

数据流变化

对AI网络的要求

AgenticAI与工具调用

多轮、并发、外部服务访问

Sandbox隔离更关键，请求链更长

更大参数/更长上下文

权重与KVCache持续增大

模型加载、缓存分层与远端访问

P/D分离与分布式服务

Prefill与Decode跨节点协同

KVCache迁移、突发大数据量

MoE与并行扩展

Token跨Expert动态路由

更高并发、更复杂东西向流量、低尾延迟

AI感知网关按模型、队列、Cache命中路由池化存储与缓存权重/

AI感知网关

按模型、队列、Cache命中路由

池化存储与缓存

权重/KV从计算节点解耦

更确定性NIC/DPU

承载突发与高消息率、智能体安全卸载

业务变化：大算力、高并发、低延迟?MoE多对多突发；尾延迟决定TTFT/

业务变化：大算力、高并发、低延迟

?MoE多对多突发；尾延迟决定TTFT/TPOT

?P/D在跨节点间搬运KVCache

?