Easy RoCE：在SONiC交换机上一键启用无损以太网.docxVIP

RDMA（远程直接内存访问）技术是一种绕过CPU或操作系统，在计算机之间直接传输内存数据的技术。它释放了内存带宽和CPU，使节点之间的通信具有更低的延迟和更高的吞吐量。目前，RDMA技术已广泛应用于高性能计算、人工智能工作负载、存储和许多其他场景。

#01-RoCEv2对网络的需求和挑战

RoCEv1基于以太网链路层实现，通过交换机上的流量控制技术确保物理层的可靠传输。RoCEv2在UDP层之上实现，弥补了?InfiniBand?的一些局限性，支持更广泛的RDMA应用。

与TCP协议相比，UDP速度更快，消耗的资源更少，但没有TCP的滑动窗口和确认响应等机制来确保可靠传输。在RoCEv2网络中，如果出现数据包丢失，网卡将丢弃所有收到的数据包，而发送方需要重新传输所有后续数据包，导致网络传输性能大幅下降。因此，我们通常使用PFC（优先级流量控制）和ECN（显式拥塞通知）等功能来保证可靠性。

在以太网交换机上配置上述功能需要熟悉QoS机制、配置逻辑和相关命令行。对于长期为客户配置RoCEv2网络的工程师来说，这可能并不困难。但对于大部分从事高性能计算和存储领域的技术人员，他们通常专注于服务器侧的相关技术，这种相对复杂的，但又必须调通的网络配置给他们带来了很多麻烦，甚至以往运维过IB网络的工程师也需要花时间学习相关知识。

#02-在SONiC交换机上

用常规步骤配置无损以太网

现在让我们快速回顾一下如何在SONiC交换机上按常规方法配置RoCEv2无损以太网。这里使用的是星融元CX-N系列超低时延交换机，搭载SONiC企业级发行版AsterNOS3.1R0405P01版本，但没有使用其上的?EasyRoCE?功能。

在部署RoCEv2网络时，务必首先确认网络硬件条件：低延迟网络交换机需要能支持PFC和ECN等功能，服务器侧的网卡也需要支持RoCEv2。常规步骤下：

①?启用和取消需要分别配置PFC和ECN。

②?故障排除或状态检查通常需要进入不同的命令行视图并多次执行show命令，以确定当前队列映射、缓冲区、启用的队列、阈值、队列吞吐量、暂停和CNP触发器。

第一步，确保服务器网卡工作在RoCEv2模式下，为业务流量配置PCP或DSCP，并启用ECN。

#设置网卡RDMACM的工作模式[root@server~]#cma_roce_mode-dmlx5_0-p1-m

#设置网卡的优先级类型为DSCP[root@server~]#mlnx_qos-ienp1s0f0--trust=dscpDCBXmode:OScontrolledPrioritytruststate:dscp

#在队列3上开启PFC[root@server~]#mlnx_qos-ienp1s0f0-f0,0,0,1,0,0,0,0

#在队列3上开启DCQCN[root@server~]#echo1/sys/class/net/enp1s0f0/ecn/roce_np/enable/3[root@server~]#echo1/sys/class/net/enp1s0f0/ecn/roce_rp/enable/3

#设置CNPDSCP[root@server~]#echo48

然后，在交换机端口配置以启用PFC和ECN功能并指定队列。您需要在以太网交换机的指定队列（需与服务器上的队列匹配）上启用PFC和ECN，并调整缓冲区和阈值。

#设置PFC门限值sonic(config)#buffer-profilepg_lossless_100000_100m_profilesonic(config-buffer-profile-pg_lossless_100000_100m_profile)#modelosslessdynamic-2size1518xon0xoff46496xon-offset13440sonic(config-buffer-profile-pg_lossless_100000_100m_profile)#exit

#在3、4队列开启PFC功能（AsterNOS的PFC功能默认使能3、4队列，无需配置）sonic(config)#priority-flow-controlenable3sonic(config)#priority-flow-controlenable4sonic(config)#exit

#设置ECN门限值sonic(config)#wredroce-ecnsonic(config-wred-roce-ecn)