RoCEv2在大规模数据中心的潜力.docxVIP

在快速增长的人工智能(AI)和机器学习(ML)领域，数据中心对高性能计算(HPC)系统的需求正在迅速提升。HPC需要快速、低延迟的连接来实现高速、无缝通信。这引出了一个关键问题：传统的TCP/IP堆栈是否足以有效支持HPC网络通信？

远程直接内存访问(RDMA)是HPC和存储网络领域中备受青睐的技术之一，它能够在内存到内存级别提供高吞吐量和低延迟的数据传输，同时避免给CPU带来额外的负担。RDMA允许从一台计算机直接访问另一台计算机上的内存，从而实现了无缝的数据传输体验。此操作完全由网络适配器硬件处理，无需经过操作系统软件网络堆栈的干预。

传统模式与RDMA模式

HPC网络利用?InfiniBand?(IB)堆栈，可实现RDMA技术的各项优势，包括高吞吐量、低延迟以及CPU旁路特性。此外，InfiniBand将拥塞管理直接集成到协议中。相比之下，传统的TCP/IP协议栈会随着网络访问带宽的增加而导致CPU消耗的增加，从而进一步增加网络传输延迟，显然不适合HPC需求。

RDMA网络协议

InfiniBand（原生RDMA）：InfiniBand原生RDMA技术提供了基于通道的P2P消息队列转发模型，应用可以通过虚拟通道直接访问消息，从而绕过对操作系统和其他堆栈的需求。这不仅减轻了CPU的工作负担，还实现了节点间高效的RDMA读写访问。此外，InfiniBand的链路层集成了特定的重传机制来支持QoS，从而消除了对数据缓冲的依赖。但要充分发挥其性能优势，需要专用的InfiniBand交换机和网卡。

iWARP（基于TCP的RDMA）：互联网广域RDMA协议(iWARP)支持基于TCP的RDMA操作，通过标准以太网基础设施提供RDMA功能。这允许组织将其现有的以太网交换机用于RDMA目的，并利用TCP的数据包丢失保护机制。但网卡必须支持iWARP，尤其是在利用CPU卸载技术时。

RoCEv1（二层以太网上的RDMA）：RoCEv1是运行在以太网链路层上的RDMA协议，可以促进同一以太网广播域内任意两台主机之间的通信。为了实现物理层的可靠传输，交换机必须支持PFC（优先级流控制）等流控机制。

RoCEv2（基于UDP的RDMA）：RoCEv2解决了v1的局限性，即仅限于单个VLAN。它通过调整数据包封装（包括IP和UDP标头）来实现跨L2和L3网络的使用。

RDMA协议栈

超大规模数据中心中的RoCEv2

在快节奏的超大规模数据中心领域，对高性能网络解决方案的需求引发了人们对RoCEv2日益增长的兴趣。RoCEv2代表了InfiniBand的性能优势与以太网的广泛可访问性的结合，从而在现有以太网基础设施上实现无缝的RDMA功能。

RoCEv2利用了融合以太网基础设施的优势，促进了传统以太网流量与RDMA流量在同一网络上的共存，简化了网络管理并消除了对单独RDMA结构的需求。然而，在融合以太网结构中部署RoCEv2也同样面临挑战，例如通过分配必要的网络资源、优化UDP数据包封装以及实施有效的拥塞控制机制（如优先级流量控制（PFC）和中心量化拥塞通知（DCQCN））来确保无损和低延迟通信。本文深入研究了RoCEv2的复杂性，审视了其对UDP的封装，并提出了资源分配和拥塞控制策略。

RoCEv2

要利用RoCEv2，源主机和目标主机上都需要支持RDMA的专用RDMANIC(RNIC)。RDMA卡的物理(PHY)速度通常是50Gbps起，目前已经提升至高达400Gbps。

RoCEv2数据包格式

为了确保在IP和UDP第3层以太网上实现对RDMA流量的无缝传输，数据包封装至关重要。专用UDP目标端口4791用于表示InfiniBand有效负载，同时针对不同的队列对（QP），使用不同的源端口，可以实现等价多路径（ECMP）负载共享，以优化转发效率。

具体来说：

-RoCEv2在IPv4/UDP或IPv6/UDP协议之上运行，使用以太网链路层的IP和UDP标头替代InfiniBand网络层，实现路由。-它默认使用UDP目标端口号4791。-UDP源端口被用作流标识符，可利用ECMP优化数据包转发。-RoCEv2流量和拥塞控制利用IP标头中的优先级流量控制（PFC）和显式拥塞通知（ECN）位来管理拥塞，并使用拥塞通知数据包（CNP）帧进行确认。

RoCEv2数据包格式

RoCEv2Wireshark捕获

RoCEv2以更低的成本提供卓越的多功能性，使其成为在传统以太网环境中构建高性能RDMA网络的最佳选择。但在这些交换机上配置Headroom、PFC和ECN设置等参数可能相