K元N立方体网络均匀跨步通信模式性能分析与优化.docVIP

K元N立方体网络均匀跨步通信模式性能分析与优化 　　摘要：K元N立方体网络是高性能计算机常用的一种网络结构.均匀跨步通信是高性能计算最重要的通信模式之一.针对K元N立方体网络均匀跨步通信模式，推导出其性能下限的理论公式，采用自行开发的网络模拟器模拟了多种结构、多种跨步值和多种消息长度的传输性能.最后针对节点重映射和消息分割两种优化措施进行了模拟和分析.模拟结果显示，4元N立方体网络具有良好的Alltoall性能，接近Alltoall性能最好的K元N树网络. 　　关键词：K元N立方体；Alltoall通信；均匀跨步通信；节点重映射；消息分割 　　中图分类号：TP301 文献标识码：A 　　对于很多重要应用而言，比如快速傅里叶变换等[1]，Alltoall通信都是非常重要的通信模式，是影响性能的关键所在[2].许多网络设计的目标就是获得良好的Alltoall性能.标准的Alltoall通信可参考图1所示的MPI_AlltoAll的定义[3]，每个进程都向其他所有进程发送数据，这意味着每个进程也同时接收来自其他进程的数据.由于标准的Alltoall通信可能存在大量竞争，包括网络的竞争，目标的竞争，从而导致性能大幅下降. 　　假设共计N个进程{P0， P1， …， PN-1}.一种常用的优化手段是将Alltoall通信过程分解成N-1个阶段.阶段i，i=[1， …， N-1]，每个进程Pk只向进程P（k+i）%N发送数据，这意味着每个进程Pk同时在接收P（k+N-i）%N发送的数据.这种方式有序化了Alltoall通信，降低了可能的阻塞，提升了整体Alltoall性能.上述每个阶段的通信都属于均匀跨步模式.所谓均匀跨步模式就是参与通信的所有进程对，其目标进程号和源发送进程号差值都相同.这种均匀跨步模式是许多重要应用中的通信基础模式，是超级计算机网络结构设计中的重要参考指标.图2是一个4进程Alltoall通信的阶段划分示意图. 　　在高性能计算中，每种通信模式的性能都和网络拓扑结构有着重要的关系.其中K元N立方体结构一直是网络结构研究的热点，是高性能计算机常用的一种拓扑结构.典型的系统包括IBM Blue Gene，Cray Gemini等.本文重点研究K元N立方体网络均匀跨步模式的性能及其优化. 　　1均匀跨步通信性能分析 　　Alltoall通信由于涉及很多因素，其性能的理论分析是十分复杂的.IBM的Kumar等人基于Bluegene/L系统3D环网结构提出了一个针对多维环网的Alltoall通信模型性能公式[4].假设三维环网中每一维的处理器数量分别为Px，Py，Pz，系统中处理器的总数量为P=Px*Py*Pz，最长维处理器数量M=max（Px，Py，Pz），每个处理器发送m字节数据到其他处理器，单个字节在网络中的传输时间为β，则在Alltoall通信模式下，网络所传输的数据总量为P*P*m.每个包在最长维的平均步长为M/4，该维的链路总数为2P，因此完成Alltoall通信的时间T=P2*m*M/4*b/（2P）=P*（M/8）*m*β.该公式反映了Alltoall模式下3D环网的最好性能.如引言中所述，Alltoall通信可分解成若干步均匀跨步通信，因此分析均匀跨步通信模式的性能具有重要意义. 　　Kumar以IBM BlueGene系统为参考，给出了3D环网Alltoall性能的上限评估公式.但事实上，在设计高性能计算机网络系统时，我们更关注其Alltoall性能的下限.因为应用与算法是多种多样的，知道了网络可能的性能下限，才能针对重大应用选择适应性更好的网络架构.下面从理论上初步分析均匀跨步的性能下限.K元N立方体网络，共有KN个节点，网络直径为N*K/2，链路总数为N*2*KN条.对于均匀跨步消息，网络链路冲突最大的情况是任一对通信节点间的步长均等于网络直径.所以理想情况下，需要的链路数为N*（K/2）*KN.所以我们得到系统链路吞吐率的下限公式为： 　　这是一个十分有趣的公式.它显示，对于K元N立方体而言，均匀跨步通信的吞吐率下限与维数无关，仅和每一维的长度相关.当K≤8时，均匀跨步通信吞吐率超过50%；特别当长度K=4时，即4元N立方体在进行均匀跨步模式通信时，吞吐率可以达到100%.了解一种网络结构Alltoall性能的下限对于网络结构的设计、各种网络参数的选取具有重要的参考意义.由上述公式可见，在Alltoall通信性能方面，4元N立方体性能接近K元N树性能.当然上述情况的分析都是基于理想情况.后面将用模拟器检查我们的分析是否准确. 　　2均匀跨步通信性能模拟 　　2.1网络模拟器 　　为了更好地模拟网络通信的性能，我们开发了一款采用C++编写的节拍级网络模拟器netsim.该模拟器