RDMAoverTCP的协议栈工作过程浅析.docVIP

　　RDMA over TCP的协议栈工作过程浅析～教育资源库 　　随着网络带宽和速度的发展和大数据量数据的迁移的需求，网络带宽增长速度远远高于处理网络流量时所必需的计算节点的能力和对内存带宽的需求，数据中心网络架构已经逐步成为计算和存储技术的发展的瓶颈，迫切需要采用一种更高效的数据通讯架构。 　　传统的TCP/IP技术在数据包处理过程中，要经过操作系统及其他软件层，需要占用大量的服务器资源和内存总线带宽，所产生严重的延迟来自系统庞大的开销、数据在系统内存、处理器缓存和网络控制器缓存之间来回进行复制移动，如图1.1所示，给服务器的CPU和内存造成了沉重负担。特别是面对网络带宽、处理器速度与内存带宽三者的严重不匹配性，更造成了网络延迟效应的加剧。处理器速度比内存速度快得越多，等待相应数据的延迟就越多。而且，处理每一数据包时，数据必须在系统内存、处理器缓存和网络控制器缓存之间来回移动，因此延迟并不是一次性的，而是会对系统性能持续产生负面影响。 　　图1.1 主机接收传统以太网数据的典型数据流示意图 　　这样，以太网的低投入、低运营成本优势就难以体现。为充分发挥万兆位以太网的性能优势，必须解决应用性能问题。系统不能以软件方式持续处理以太网通信；主机CPU资源必须释放专注于应用处理。业界最初的解决方案是采用TCP/IP负荷减轻引擎（TOE）。TOE方案能提供系统性能，但协议处理不强；它能使TCP通信更快速，但还达不到高性能网络应用的要求。解决这类问题的关键，是要消除主机CPU中不必要的频繁数据传输，减少系统间的信息延迟。 　　RDMA（Remote Direct Memory Access）全名是远程直接数据存取，RDMA让计算机可以直接存取其它计算机的内存，而不需要经过处理器耗时的传输，如图1.2所示。RDMA是一种使一台计算机可以直接将数据通过网络传送到另一台计算机内存中的特性，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这项技术通过消除外部存储器复制和文本交换操作，因而能腾出总线空间和CPU周期用于改进应用系统性能，从而减少对带宽和处理器开销的需要，显著降低了时延。 　　图1.2 RDMA数据流传输示意图 　　RDMA对以太网来说还是新生事物，但以不同形式存在已有十多年时间，它是Infiniband技术的基础。产业标准API（应用程序接口）使RDMA从技术走向实现成为可能。其中包括用于低时延消息处理、成就高性能计算的MPI（消息通过接口），以及DAPL（直接接入供应库）。后者包括两部分：KDAPL和UDAPL，分别用于内核和用户（应用程序）。Linux支持KDAPL，其它操作系统将来也有可能支持。RDMA在高性能计算环境广为采纳，在商务应用领域很少，但如今大多应用程序都能直接支持操作系统，透过操作系统（如NFS）间接利用RDMA技术的优势是完全可能的。 　　2　RDMA工作原理 　　RDMA是一种网卡技术，采用该技术可以使一台计算机直接将信息放入另一台计算机的内存中。通过最小化处理过程的开销和带宽的需求降低时延。RDMA通过在网卡上将可靠传输协议固化于硬件，以及支持零复制网络技术和内核内存旁路技术这两种途径来达到这一目标。RDMA模型如图2.1所示。 　　图2.1 RDMA模型演变 　　零复制网络技术使NIC可以直接与应用内存相互传输数据，从而消除了在应用内存与内核内存之间复制数据的需要。 　　内核内存旁路技术使应用程序无需执行内核内存调用就可向网卡发送命令。在不需要任何内核内存参与的条件下，RDMA请求从用户空间发送到本地NIC并通过网络发送给远程NIC，这就减少了在处理网络传输流时内核内存空间与用户空间之间环境切换的次数。 　　当一个应用程序执行RDMA读/写请求时，系统并不执行数据复制动作，这就减少了处理网络通信时在内核空间和用户空间上下文切换的次数。在不需要任何内核内存参与的条件下，RDMA请求从运行在用户空间中的应用中发送到本地 NIC（网卡），然后经过网络传送到远程NIC。请求完成既可以完全在用户空间中处理(通过轮询用户级完成排列)，或者在应用一直睡眠到请求完成时的情况下通过内核内存处理。 　　RDMA操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。RDMA操作用于读写操作的远程虚拟内存地址包含在RDMA消息中传送，远程应用程序要做的只是在其本地网卡中注册相应的内存缓冲区。远程节点的CPU在整个RDMA操作中并不提供服务，因此没有带来任何负载。通过类型值（键值）的使用，一个应用程序能够在远程应用程序对它进行随机访问的情况下保护它的内存。 　　发布RDMA操作的应用程序必须为它试图访问的远程内存指定