从推理爆发到具身智能 AI新时代对网络基础设施的重新定义.pptxVIP

从推理爆发到具身智能：AI新时代对网络基础设施的重新定义

趋势 数据流变化对AI网络的要求 AgenticAI与工具调用多轮、并发、外部服务访问Sandbox隔离更关键，请求链更长更大参数/更长上下文权重与KVCache持续增大模型加载、缓存分层与远端访问P/D分离与分布式服务 Prefill与Decode跨节点协同KVCache迁移、突发大数据量 MoE与并行扩展 Token跨Expert动态路由更高并发、更复杂东西向流量、低尾延迟更确定性NIC/DPU承载突发与高消息率、智能体安全卸载池化存储与缓存权重/KV从计算节点解耦AI感知网关按模型、队列、Cache命中路由AI模型从“单次响应”走向“Agentic+长上下文+MoE”Agentic应用：多轮调用工具、长上下文，请求链显著变长基础设施响应

用户/Agent请求推理集群GPU/CPUAI基础设施的重心正从训练转向推理，更关注性价比，推动网络往低尾延迟、更智能拥塞控制以及更弹性的存储吞吐演进。网络变化：承载多业务?不依赖无损网络·实时拥塞感知?仅重传丢失报文·突发下接近线速?多租户隔离、访问控制和QoS业务变化：大算力、高并发、低延迟?MoE多对多突发；尾延迟决定TTFT/TPOT?P/D在跨节点间搬