超算中心InfiniBand网络光互连解决方案.pdfVIP

超算中心InfiniBand 网络光互连解决方案 高性能计算(High Performance Computing，以下简称HPC)，即超算中心HPC 市场正在 朝着使用异质计算系统和提高能效比的方向发展：GPU、DSP 和ARM 处理器同时运行，以实 现用更少的能耗带来更高的Petaflop(1 千万亿次浮点计算/秒)值。IDC 预测，HPC 服务器市 场要实现在2017 年达到150 亿美元销售额的目标，每年的增速就必须要保持在7.3%左右。 超级计算(Supercomputing)的应用范围非常广泛，包括汽车制造模拟、天气预报、分子生物 学研究、地球物理学等，在这些领域中往往需要并行计算和处理大量的数据、进行复杂的运 算。最近经常被讨论的大数据分析，也会用到超级计算。 高性能模拟需要最高效的计算平台。计算集群（Cluster）技术平台由于其出色的生产 力和灵活性，现已成为 HPC 模拟最常用的硬件解决方案。而计算集群Cluster 技术平台通 常采用以下高速互联技术进行沟通，如：InfiniBand、高性能Ethernet(精简过的帧结构)、 BlueGene、Gray 等互联技术，其中41.2%的超算中心采用了infiniBand 互连技术。 超算中心Top500 中还有不少系统采用了以太网或者Cray 的互连技术，但正是这些独特的优 势让infiniband 在超算中大行其道，据统计，全球超算中心Top500 榜单中，有41.2%的系 统采用了infiniband 互连技术。 InfiniBand 诞生的缘由： 易飞扬通信（）︱ 全球光互连技术革新者 InfiniBand 是一种输入输出（I/O）宽带结构，可以提高服务器各设备之间、网络子系统之 间的通信速度，为将来的计算机系统提高更高性能和无限扩展性的宽带服务。InfiniBand 技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此， InfiniBand 技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储 设备（比如SAN 和直接存储附件）以及服务器和网络之间（比如LAN，WANs 和the Internet） 的通信。超算中心是一个庞大的系统，正因如此，超算系统的建设并非是简单的硬件堆砌， 除了CPU、GPU 等核心部件，网络互联技术也是决定超算计算能力和计算效率的重要部分。 InfiniBand 的优势 对于 InfiniBand 架构来讲，提供比现有总线技术更高的数据传输速度是它相对于现有PCI 总线架构的优势之一，它的另外一个优势就是采用了点对点的交换模式，而不是共享总线的 模式对数据进行传送。共享总线模式的最大缺点在于当一个设备占据总线时，其它设备只能 等待。目前的PCI 设备大部分是Master 设备，或称之为主设备，与Slave （从）设备的区 别在于，它会不断地发出询问信号探测总线是否有人占用，如果总线空闲，而它又恰好要使 用，它会向总线控制器申请占据总线一段时间，降低了系统的工作效率。 InfinBand 通常采用非阻塞的Fat-Tree 架构进行互连，从传统的3-tier 数据中心架构变为 Top of Rack (TOR)和aggregation layers （汇聚层）的2 层架构。 易飞扬通信（）︱ 全球光互连技术革新者 Optical Electric or interconnection interconnection Infiniband 技术发展线路图和InfiniBand 交换机主流设备商名单，（我们产品可以兼容 Mellanox, Intel, IBM 等主流设备厂家的InfiniBand 交换机设备） 2016 年02 月23 日，位于比利时的佛兰德超级计算中心（VSC）已采用Mellanox 的端到端 100Gb/s EDR 互连解决方案，将其与NEC 公司的全新LX 系列超级计算机相集成。该系统未 来将成为比利时最快