一种面向不可靠网络快速RDMA通信方法.docVIP

一种面向不可靠网络的快速RDMA通信方法 　　摘要：大数据量的远程内存访问（RDMA）传输是并行计算机中最基本的通信模式之一，对系统整体性能的影响很大.随着并行计算机系统的规模扩大，系统的容错性设计面临着很大的挑战，互连网络具有链路不可靠、自适应路由等特点，如何面向不可靠网络实现可靠的端到端RDMA传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速RDMA传输方法，方法能够在节点控制器芯片上高效实现，对上层驱动软件和应用提供可靠的端到端RDMA传输服务.与传统的建立连接的方法相比，方法的硬件设计复杂度大大降低；方法另一优点是实现了按需重传，避免了传统方法中一次RDMA传输出现错误时，需要重传整个RDMA数据的开销，在相同的错误概率下，新方法的传输效率得到了很大的提升. 　　关键词：远程内存访问；RDMA；MPI；滑动窗口 　　中图分类号：TP302.1 文献标识码：A 　　A Fast RDMA Offload Method for Unreliable 　　Interconnection Networks 　　WANG Shaogang，XU Weixia，WU Dan，PANG Zhengbin，XIA Jun 　　（College of Computer， National Univ of Defense Technology， Changsha， Hunan410073， China） 　　Abstract：Large data RDMA （Remote Data Memory Access） transport is the most commonly used parallel communication mode for parallel computers， which has great impact on the whole system performance. As the system size increases， the faulttolerate architecture design faces new challenges. The interconnection network usually uses the adaptive routing mode and becomes more unreliable. This paper proposed a fast RDMA offload method for unreliable interconnection networks， which can be efficiently implemented on the NIC hardware and provides reliable RDMA communication for upper driver and programs. Compared with the traditional approaches， the hardware overhead is greatly reduced. Another benefit is that it can partially retransmit the fault data， which greatly reduces the whole RDMA delay. Simulation results show that the RDMA delay is greatly reduced， compared with the traditional methods. 　　Key words：remote data memory access， RDMA， MPI， sliding window approach 　　高性能并行计算机系统发展迅速，2013年11月份发布的Top500高性能计算机排行榜中，系统峰值性能已经达到50 P （Petaflops），处理核数达到数十万的规模.据此发展趋势，国际上高性能计算机计算水平将在2015年左右达到100 P量级，在2016年达到1 E （Exaflops）量级[1-4].如此大规模的系统需要支持数百万个节点的高效通信，节点间通信机制已成为制约系统性能乃至成败的关键因素. 　　并行计算机互连网络中，Serdes链路速率已达40Gbps[5-7]，高速链路的误码率大大增加，给链路级的可靠传输带来了很大的挑战；随着网络规模的扩大，网络的平均故障时间越来越短，并行计算机的互连网络变得越来越“不可靠”.在这种条件下，并行计算机体系结构设计迫切需要进行对应的容错设计. 　　远程内存访问（RDMA）是并行机系统中最基本的通信模式之一[1，3]，其他复杂的聚合