看高性能计算系统中常用几种内部互联网络.docVIP

看高性能计算系统中常用的几种内部互联网络 在大规模并行计算和机群等高性能计算系统中，处理器之间或计算节点之间的快速互联网络的重要程度并不亚于处理器本身。在早期的大型计算系统中，处理器之间的通信一直被所采用的互联网络（通常是以太网）延时 大、带宽不足等因素所牵制；如今，Myrinet、QsNet、SCI以及刚刚兴起的Infiniband等多种专用高速互联网络的成功应用，使得这种状况发生很大改观的同时，也使得高性能计算系统内部互联网络的选择成了一门学问。 高性能计算系统的互联方式有很多种，最初的机群系统是基于LAN技术的，也就是以最普通的以太网（Ethernet）作为数据交换媒介。其优势在于可以方便地增加计算节点到集群系统中，但是其缺点也很多，传输速度较慢，复杂的协议造成非常高的延时，并且限制了扩展性。各种各样的专用高速互联网络应运而生，最为典型的有Myrinet、QsNet，以及最近几年兴起的Infiniband,它们为集群系统提供了构建高带宽、低延时数据交换环境的可行条件。 广为应用的Myrinet Myrinet是目前机群系统中应用最为广泛的互联网络。Myricom公司从1994年就开始销售第一代Myrinet产品，当时只是作为以太网络的第二选择来实现机群系统中的节点互联，除了100MB/s的高带宽外，它的主要优势是小数据量延时，只有10m～15ms，这与当时Convex、 HYPERLINK /corpCenter/462.html \t _blank IBM、SGI等公司在并行系统中使用的专有网络的高延迟形成鲜明对比。此后随着软硬件的不断升级，Myrinet更是成为了机群制造商的第一选择，直到今天这种优势依然存在。 同Infiniband一样，Myrinet使用全双工链路，并且通过远程内存存取（Remote Direct Memory Access，RDMA）对其他主适配器卡（称为Lanai）的远程内存进行读/写操作，这些卡以与之连接的主机 HYPERLINK /index.php/PCI%20Express \t _blank PCI-X总线为接口界面。 最新一代的Myrinet使用了光纤作为信号传输通道，这不仅在连接方面有了很大的灵活性，而且也给信号高速传输提供了足够空间。但同时不可忽略的是，由于光纤电缆和连接器都很“娇气”，很容易在机群节点维护的过程中受损，可靠性方面值得关注。 目前Myrinet已经有8～128口交换机提供。从Myricom自己提供的最新测试数据来看，使用业界惯用的MPI Ping-Pong测试方法，其带宽为230MB/s，MPI延时为10ms。 快速可靠的QsNet QsNet是Quadrics公司的产品，该技术的起源可以追溯到早期一家德国公司Meiko，它专门研制称号为CS-1、CS-2的并行计算系统，在当时的CS-2系统中就包括了一种很好的对数网络，在Meiko公司倒闭的时候，这种网络作为单独的产品保留并被一家意大利公司Alenia接手，放置在一个独立的公司Quadrics中运营。后来由于Digital/Compaq公司选择了QsNet作为其AlphaServer SC系列高性能计算机的互联网络而一举成功。不过事实也证明，QsNet是一种快速、可靠的网络系统。从两年前开始，该技术也逐渐在机群系统中得到应用。 同Infiniband、Myrinet一样，QsNet网络由两个有效部分组成：ELAN卡（相当于Infiniband的主通道适配器或Myrinet的Lanai卡）和Elite交换机（相当于Infiniband 的交换机/ HYPERLINK /index.php/%E8%B7%AF%E7%94%B1%E5%99%A8 \t _blank HYPERLINK /%E8%B7%AF%E7%94%B1%E5%99%A8 \t _blank HYPERLINK /%E8%B7%AF%E7%94%B1%E5%99%A8 \t _blank 路由器或Myrinet交换机）。其拓扑结构与大多数Infiniband交换结构很相似，使用的是一种四个一组的胖树型（fat tree）拓扑结构，ELAN卡是与主机系统的PCI-X端口连接。目前可供机群系统使用的Elite交换机只有两种型号：16口和128口。同Infiniband一样，QsNet具有RDMA功能，允许读写远程ELAN卡的存储区域，这当然也可以扩展到主机处理器自身的存储区域，因此，从理论上来说，可以把QsNet连接的系统看做一个虚拟共享内存系统。不过，无论是在大型集成系统还是机群系统上，这都还没有完全实现。 从目前公开用MPI Ping-Pong测试的结果来看，QsNet的带宽约为340MB/s，MPI延时约为5ms。根