CAInNet：面向AI加速的通算一体网内计算模型.pdfVIP

第48卷第1期计算机学报Vol.48No.1

2025年1月CHINESEJOURNALOFCOMPUTERSJan.2025

CAInNet:面向AI加速的通算一体网内计算模型

市杨翔瑞杨凌高源航王宝生苏金树

刘忠沛吕高锋

（国防科技大学计算机学院长沙410073）

摘要AI时代的到来对当今算力提出了双重挑战，一方面涉及推理，另一方面涉及分布式训练。将一部分分布

式应用的计算任务卸载到高速网络的网卡或交换机能够潜在提升分布式应用的性能表现，并发挥网络的关键作

用。如在交换机或网卡中卸载参数聚合等计算功能能够有效降低模型训练时产生的大量通信开销。基于P4语言

的可编程数据平面除了使网络协议定制更加灵活外，还使得网络数据平面能够为分布式应用提供简单的网内计算

服务。然而，当前典型的基于P4语言的可编程数据平面架构如协议无关交换架构（PISA)在进行矩阵运算等方面

还表现得不够高效。分析该缺陷的关键原因在于：PISA架构中的超长指令字计算引擎在处理大规模并行同构计

算任务时效率不高。针对上述问题，提出了一种面向AI加速的通算一体网内计算模型CAInNet。该模型在传统

可编程数据平面的基础上，创新性地融合了单指令多数据流（SIMD)与多指令多数据流（MIMD)两种计算模式，使

得网络设备不仅能够支持协议无关网络分组处理，还能在分组传输过程中对承载AI推理与训练的数据做网内计

算。为了验证CAInNet在网内计算以及网络可编程方面的能力和效果，我们在该模型中使用带内网络遥测实现网

络可视化，并部署多层感知机（MLP)模型实现基于AI的报文分类，替代传统的基于TCAM查表的路由方法。实

验表明，采用机器学习推理的报文分类方法在包含5k路由表项的场景下，其准确度高达98.3%，同时节省了

98.7%的存储空间,有效地解决了路由爆炸问题。与现有方法相比，将机器学习推理部署在CAInNet中不增加可

编程数据平面的处理延迟，且仅消耗适量计算资源。

关键词AI硬件加速；通算一体；网内计算；可编程网络；报文分类；深度神经网络

中图法分类号TP393D0I号10.11897/SP.J.1016.2025.00019

CAInNet:In-NetworkComputingModelforAIAcceleration

LIUZhong-PeiYANGXiang-RuiYANGLingGAOYuan-Hang

LUGao-FengWANGBao-ShengSUJin-Shu

(CollegeofComputerScienceandTechnology,NationalUniversityofDefenseTechnology,Changsha41oo73)

AbstractTheoperationandserviceprovisionofdistributedmachinelearningmodelsareinsepa-

rablefromcomputingpowerandnetworksupport.AsMooresLawslowsdownandtherateof

computingpowergrowthismuchslowerthantherateofI/O,near-dataprocessinghasbecome

theinevitablechoiceinthepost-Mooreera.Inshort,itmeansmovingdataaroundaslittleas

possiblesothatitcanbeprocessedonthe