一文读懂 GPU 通信互联技术.docxVIP

在之前的文章中，我们详细介绍过PCIe、RDMA、NVlink、CXL等互联技术。今天我们就通过这篇文章来详细的介绍下GPU通信互联技术。

为什么需要GPU互联技术？

我们都知道，在GPU未出现前，CPU一直是计算机中的绝对核心，甚至连存储、内存、网络等子系统的能力都是CPU说了算。

比如，一个CPU能够支持多大的内存，CPU都是有严格要求的。甚至同样一颗CPU，只是支持不同的内存，都能卖两个价格。

这也导致了Intel的独断专行，其它人想对CPU做点手脚那是被限制的死死的，可以说Intel真正做到了此路是我开，此树是我栽，要想此路过，留下买路财，这直接导致了Intel在产品创新方面一直挤牙膏。

但人算不如天算，没想到大数据分析、AI、视觉渲染、基因分析以及EDR仿真等需求的突然爆发，给了NVIDIA的GPU带了巨大增长空间。

GPU的快速增长超出了所有人的预料，它几乎彻底颠覆了CPU在计算机系统中的地位，而传统的根据CPU为核心设计的互联通信方式在GPU高速增长的情况下开始慢慢成为了阻碍，原有的通信技术已经成为效率阻碍。

比如，传统方式如果想把数据从存储系统转运到GPU显存中，由于历史原因此过程受CPU管理。随着计算负载从较慢的CPU转移到较快的GPU后，I/O逐渐成为系统的性能瓶颈。

面对这种情况，那么GPU就要在原有的计算机里开路了。

为了更好地让大家理解GPU互联技术，本文按照GPU的使用模式分为两种方式来讲解，分为单机多卡GPU互联技术和多机多卡GPU通信技术。

不多说了，我们马上开始。

单机多卡GPU通信技术

谈到GPU开路的通信技术，我们就不得不聊到GPUDirect这项技术。

1、GPUDirect

GPUDirect是NVIDIA开发的一项技术，可实现GPU与其他设备（例如网络接口卡(NIC)和存储设备）之间的直接通信和数据传输，而不涉及CPU。

使用GPUDirect，网络适配器和存储驱动器可以直接读写GPU内存，减少不必要的内存消耗，减少CPU开销并降低延迟，从而显著提高性能。

发展到今天，GPUDirect技术发展经历了四个阶段：

2010年，GPU支持与网卡，存储等设备共享内存，即GPUDirectSharedMemory；

2011年，NVIDIA推出GPUDirectP2P（Peer-to-Peer），支持同一PCIe总线上的GPU之间的内存访问；

2012年底，GPUDirectRDMA完美地解决了计算集群节点间GPU卡PCIe总线的通信问题。该技术将在多机的GPU通信中详细说明。

如今，GPUDirect技术已经逐渐完善，形成了包括GPUDirectStorage、GPUDirectRDMA、GPUDirectP2P和GPUDirectVideo四组重要技术的组合。

1）GPUDirectStorage

对AI和HPC应用而言，随着数据规模的不断扩大，数据加载时间对系统性能影响越发显著。随着GPU计算速度的快速提升，系统I/O（数据从存储读取到GPU显存）已经成为系统瓶颈。

GPUDirectStorage提供本地存储（NVMe）/远程存储（NVMeoverFabric）与GPU显存的直接通路，它可以减少不必要的系统内存拷贝（通过bouncebuffer）。它可应用网卡NIC和存储系统附近的DMA引擎，直接向GPU显存写入/读取数据。

2）GPUDirectRDMA

RDMA(Remotedirectmemoryaccess)技术可使外围PCIe设备直接访问GPU显存。GPUDirectRDMA被设计用来支持GPU间快速跨机通信。它能减轻CPU负载，同时也能减少不必要的通过系统内存进行的数据拷贝。

GPUDirectRDMA在CUDAToolkit中提供支持。您可联系网络供应商下载相关驱动，来使用RDMA功能。它对TeslaandQuadroGPU都是可用的。

3）GPUDirectforVideo

GPUDirectforVideo提供一个服务于frame-based的通过优化的流水线功能。设备包括：framegrabbers、videoswitchers、HD-SDIcapture、CameraLinkdevice，它可以把视频帧高效地向GPU显存中写入/读出。

过去处理视频的第三方硬件与GPU交互时，会引入不必要的延迟，如图6左边所示。有了GPUDirectforVideo技术，I/O设备和GPU可达到很好的同步（两个设备driver间拷贝数据），同时能减少CPU的负载。GPUDirectforVideo由第三方公司的SDK提供，开发者对视频流进/出GPU（通过OpenGL，DirectX