2026年基于内存语义的在网计算开放标准IFEC v1.0报告.pptxVIP

术语

解释

IFEC

InFabricExtendedComputation

UCIE

UniversalChipletInterconnectExpress

MoE

MixtureofExperts

EP

ExpertParallelism

SM

StreamingMultiprocessor

AXI

AdvancedeXtensibleInterface

NOC

Network-on-Chip

CBFC

Credit-BasedFlowControl

VC

VirtualChannel

ASIC

Application-SpecificIntegratedCircuit

MMU

MemoryManagementUnit

文档说明

本文旨在定义一种xPU与交换芯片的协同计算范式IFEC(InFabricExtended-Computation),该范式为满足超节点架构中跨xPU的通信加速与卸载需求而设计，交换芯片可在数据传输路径中直接完成分布式数据的汇聚、计算及结果分发。本文希望通过详细阐述IFEC加速的规范和实现细节，为xPU厂商、交换机厂商、IP厂商作为设计参考

1术语

2Scaleup网络性能演进

随着大模型训练/推理持续规模化爆发后，xPU通过ScaleUp网络进行高效数据访问的需求日益增长。在早期，xPU服务器通常为机内八卡ScaleUp互联，用于提供高带宽低时延通信，跨机仍依赖Scale-out网络，张量/流水并行在ScaleUp边界处出现带宽与延迟落差。随着并行度提升与MoE通信增多，机柜级别，甚至更大规模的ScaleUp网络成为了业界的主要关切。随着ScaleUp网络规模不断扩展，机架级互连成为基本算力单元，同时内存语义的边界也得到了极大的扩展。

随着更多的流量被纳入ScaleUp网络中，ScaleUp网络需要承载更多的集合通信种类，容纳更复杂的流量特征，ScaleUp网络的互联性能将会成为决定集群规模扩展与性能提升的关键。其中基于内存语义的网络加速作为更高级的计算特性，会极大的优化算力成本与时延，从而全方位的提升部署在此基础设施之上的训练推理应用的性能。

3下一代可计算ASIC需求

集合通信算子的加速需求可以分为多播与计算两类，在此基础上，IFEC支持动态通信组，即对于MOE

ALL2ALL这类算子，可通过数据平面创建动态多播组，用于确保其时延性能。同时，IFEC也支持静态通信组模式，即通过GNMI等控制面下发的方式提前创建通信组。

图1.交换机在网计算引擎

所以在高带宽域内，下一代用于交换芯片需要满足“动态多播”与“可计算”的能力，实现交换芯片与xPU高质量的计算协同。

●交换芯片可以通过计算引擎提供计算能力，支持以INTx/Floatx/BFloatx为主的数据类型

●支持以Min/Sum/Max为主的计算类型

○支持MMU(MemoryManagementUnit)到计算引擎的精细流控

●支持多种规约数据长度

多播

计算

计算

多播

图2.交换机在网计算引擎

交换机内部将数据类型转化为FP32,同时每次计算时都按既定的顺序相加，最大程度减少精度损失，IFEC将会基于下一代可计算ASIC进行实现

4IFEC协议设计

IFEC秉持开放解耦、分层设计的思想，旨在通过扩展计算头(ECH)支持内存语义下的集合通信加速操作，摒弃定制化，形成通用开放的内存语义加速标准，在最小化开销的同时满足一定的扩展性。

IFEC完全与上层协议解耦，上层协议则无需携带任何与通信卸载相关的信息，支持简单，比如标准以太网头可通过Ether-type进行支持，ETH+(高通量以太网)协议已通过Next-Header进行支持，详细信息可参

图3.ECH灵活封装

4.1ECHoption1

IFEC通过ECH来识别加速或卸载相关的信息。当xPU需要通信卸载与加速时，xPU按需封装ECH发送，支持IFEC的交换机需要从ECH头判断接下来的行为

TLECH

ECH

ECH

ECH

Engine

Engine

L3

L3

XPU

XPU

合

B

PP

PP

PP

图5.ECH精简头结构

Version:

长度：2bit

描述：该字段用于标识IFEC版本信息

0:首版本

1~3:预留于接下来的版本

Instructionid:

长度：24bit

描述：该字段用于标识事务id

Resv:

长度：24bit

描述：预留字段

type:

长度：6