基于RDMA与Zero-Copy优化的高速云端推理数据通路协议实现方案.pdfVIP

基于RDMA与ZERO-COPY优化的高速云端推理数据通路协议实现方案1

基于RDMA与Zero-Copy优化的高速云端推理数据通路

协议实现方案

1.RDMA与Zero-Copy技术概述

1.1RDMA技术原理

RDMA（RemoteDirectMemoryAccess）即远程直接内存访问技术，允许网络中的

计算机直接从内存里读取数据，而无需经过CPU进行数据的拷贝操作。其工作原理如

下：

•硬件支持：RDMA需要特殊的网络接口卡（NIC）和交换机支持。以InfiniBand网

络为例，其NIC支持RDMA功能，能够将数据直接从发送方的内存传输到接收方

的内存，无需经过CPU的干预。根据Mellanox公司的测试数据，使用InfiniBand

网络的RDMA技术，数据传输延迟可低至1微秒级别，相比传统TCP/IP网络

传输延迟降低了一个数量级。

•内存区域注册：在RDMA传输开始之前，需要将参与数据传输的内存区域注册

到NIC上。NIC会为这些内存区域分配一个唯一的标识符，用于后续的数据传输

操作。注册过程涉及到对内存区域的保护和权限管理，以确保数据的安全性。

•数据传输过程：当发送方要传输数据时，它会向NIC发送一个RDMA写（Write）

或读（Read）操作请求，请求中包含目标内存区域的标识符和要传输的数据信息。

NIC接收到请求后，直接将数据从发送方的内存传输到接收方的内存，无需经过

CPU的拷贝操作，从而大大提高了数据传输效率。根据IBM的研究数据，在大规

模数据中心环境中，使用RDMA技术进行数据传输，CPU的利用率可降低30%

至50%，从而释放出更多的CPU资源用于其他计算任务。

1.2Zero-Copy技术原理

Zero-Copy（零拷贝）技术是指计算机在进行数据传输时，尽量减少数据在不同内

存区域之间的拷贝操作，从而提高数据传输效率。其主要原理包括以下几个方面：

•减少上下文切换：在传统的数据传输过程中，数据从用户空间拷贝到内核空间，再

从内核空间拷贝到网络缓冲区，这个过程涉及到多次上下文切换，会消耗大量的

CPU资源。Zero-Copy技术通过优化数据传输路径，减少上下文切换的次数。例

如，在Linux系统中，使用sendfile系统调用可以实现Zero-Copy数据传输，它直

2.云端推理场景需求分析2

接将数据从文件系统的缓冲区传输到网络缓冲区，无需经过用户空间，从而减少

了上下文切换的开销。根据RedHat的测试数据，在使用sendfile实现Zero-Copy

数据传输时，上下文切换次数可减少70%至80%，显著提高了数据传输效率。

•内存映射技术：Zero-Copy技术通常会使用内存映射技术，将数据所在的内存区

域映射到用户空间和内核空间的地址空间中。这样，数据可以直接在映射后的内

存区域中进行访问和操作，无需进行数据拷贝。内存映射技术不仅减少了数据拷

贝的次数，还提高了数据访问的速度。例如，在使用mmap系统调用进行内存映

射时，数据访问速度可提高20%至30%，因为数据可以直接在映射后的内存地址

上进行读写操作，无需经过复杂的内存拷贝过程。

•DMADirectMemoryAccess：引擎是计算机中用于在内

（）引擎的利用DMA

存和外设之间直接进行数据传输的硬件组件。Zero-Copy技术充分利用DMA引

擎的功能，让DMA引擎直接将数据从内存传输到外设（如网络接口卡），无需

CPU的干预。根据Intel的研究数据，在使用DMA引擎进行数据传输时，CPU

的利用率可降低40%至60%，从而提高了系统的整体性能。