“天河一号”互连网络中FC―Switch及其路由算法.docVIP

“天河一号”互连网络中FC―Switch及其路由算法 　　摘要：提出了一种组合交换器――FC-Switch，定义了该组合交换器的交换级连接模式，初步分析了该组合交换器的性能.研究了FC-Switch的四种路由算法，并在“天河一号”（TH-1A）实际网络测试平台上，对这四种路由算法的性能进行了对比测试.研究结果表明，通过合理选择交换级连接模式和路由算法，FC-Switch可获得高带宽低延迟的优良性能. 　　关键词：高阶互连网络；组合交换器；交换级连接模式；路由算法 　　中图分类号：TP393 文献标识码：A 　　Research on FC-Switch and Its Routing Algorithm 　　in TH-1A Interconnect Network 　　CAO Ji-jun， WANG Ke-fei， LIU Lu， ZHANG Lei 　　（College of Computer， National Univ of Defense Technology， Changsha， Hunan 410073， China） 　　Abstract： This paper proposed FC-Switch， which is a nova combined switch， defined its switch-level connection pattern and primarily analyzed its performance. Moreover， four routing algorithms for the FC-Switch were discussed， and the experiments on TH-1A network testing platform was carried out. Experiments result shows that the FC-Switch can achieve a good performance by correctly choosing switch-level connection pattern and the routing algorithm. 　　Key words： high radix interconnect network； combined switch； switch-level connection pattern； routing algorithms 　　互连网络是高性能计算机系统的重要部件，互连网络的性能直接决定着高性能计算系统的整体性能.高带宽和低延迟一直是互连网络设计者追求的主要目标.高性能计算机系统的互连网络可以采用标准互连和专用互连，Top500[1]中最高端的计算系统偏向于采用专用互连网络，即通过定制设计突破通信瓶颈以获得更高的计算性能，这种技术选择特点将在未来面向艾级计算（Exaflops，每秒1018次浮点运算）的高性能计算系统设计中得到延续. 　　Kim和Dally[2-3]的研究结果表明，在大规模高性能互连网络中，使用高阶交换（High Radix Switch）技术将减小网络直径和报文传输跳步数，从而可获得更低的报文传输延迟；此外，由于高阶交换网络使用更少的交换芯片和互连链路，所以网络成本和功耗将显著降低.然而，设计高阶交换芯片面临着多方面的挑战――首先，随着交换芯片端口数的 　　增加，硬件逻辑设计变得越来越复杂，单芯片的功耗也越来越高.其次，对于多种可选的交换结构而言，芯片实现所需要的缓冲区大小和仲裁调度逻辑复杂度等都随着芯片端口数的增长而呈现平方增长.再者，根据ITRS[4]预测，未来10年单芯片封装的引脚容量将增长缓慢，这将使得交换芯片的端口数增长受到ASCI工艺技术的限制. 　　因此，将现有的低阶交换（Low Radix Switch）芯片组合成为高阶交换模块，是实现高阶交换网络的另外一种可选的解决方案.这种方案可超越当前ASCI工艺技术的限制并大大缩短高阶交换网络（使用高阶交换芯片或高阶交换模块的互连网络）的设计和制造时间.在学术界，瓦伦西亚理工大学的Duato教授对组合交换器及其交换级连接模式（Switch-level Connection Pattern，SCP）展开了具有开创性和代表性的研究[5-7].在实际构建的系统中，由国防科学技术大学研制的“天河一号”（TH-1A）高性能计算机中的高速互连网络采用特定组合交换器及其交换级连接模式，从而突破了通信瓶颈，为系统实测试性能位居2010年下半年TOP500榜首做出了重要贡献. 　　1 C-Switch简介 　　定义1 C-Switch[6]也称为组合交换器（Combined Switch），它由多个小互连交换器