在IBMPOWER服务器上使用Infiniband组建高性能计算集群分析.docxVIP

在 IBM POWER 服务器上使用Infiniband组建高性能计算集群罗明, 软件工程师, IBM卜俊辉, 软件工程师, IBM2011 年 5 月 10 日随着服务器处理速度的不断加快，高性能计算用户对网络传输速度也有着越来越高的要求，传统意义上的以太网，已经无法满足这种需求。InfiniBand网络标准就是在这种情况下应运而生的，它在很大程度上解决了传统以太网络的高延迟瓶颈问题 , 运行速度可达到每端口 2.5Gb/s 到 10Gb/s。目前，IBM POWER 服务器和高性能计算软件套件对Infiniband提供了全面的支持，本文将逐一介绍InfiniBand技术架构，以及如何在 IBM POWER 服务器的 AIX 系统上配置InfiniBand网络设备，并使用 IBM 高性能软件套件构建高性能计算集群。Infiniband的基本概念网络是常常被认为是路由器、交换机和插在服务器和存储设备上的电缆的集合。在大部分人的印象里，网络用来连接服务器到其他服务器、存储和其他网络。其实，这是一种普遍存在的对网络的片面看法，它将过多的注意力集中在处于网络底层结构的电缆和交换机上。这是典型的“以网络为中心的”观点：认为网络的构成架构应该决定应用程序的通讯模式。Infiniband网络则基于“以应用程序为中心”的新观点。它的提出来源于一个简单的问题：如何让应用程序访问其他应用程序以及存储尽可能的简单、高效和直接？如果以“应用程序为中心”的观点来思考 I/O 问题，就能得到一种与传统完全不同的网络架构。Infiniband基于一种非常简单的原则：提供一种易于使用的消息服务。这个服务可以被用来与其他应用程序、进程或者存储进行通信。应用程序不再向操作系统提交访问其他资源的申请，而是直接使用Infiniband消息服务。Infiniband消息服务是一个非常高效、直接的消息服务，它摒弃了传统网络和应用程序之间消息传递的复杂结构。直接使用Infiniband服务意味着应用程序不再依赖操作系统来传递消息，这大大提高了通信效率。如图 1，Infiniband消息服务可以在两个应用程序之间创建一个管道，来使应用程序之间直接进行通信，从而绕过了操作系统，大大提高了效率。图 1. Infiniband通信连接原理回页首Infiniband在 HPC（High performance computing）领域的应用高性能计算（HPC）是一个涵盖面很广的领域，它覆盖了从最大的“TOP 500”高性能集群到微型桌面集群。这篇文章里的我们谈及的 HPC 是这样一类系统，它所有的计算能力在一段时间内都被用来解决同一个大型问题。换句话说，我们这里讨论的 HPC 系统不会被用来运行传统的企业应用，例如：邮件、计费、web 等。一些典型的 HPC 应用包括：大气建模、基因研究、汽车碰撞模拟、流体动态分析等。图 2 显示了一个标准的高性能集群（HPC）的拓扑结构。可以看到，在高性能计算集群中，各种设备是通过集群的交换网络连接到一起的。所以，高性能计算系统除了需要高性能的中央处理器外，还需要高性能的存储和低延迟的进程间通信来满足科学运算的需求。在大型集群中高速的交换网络扮演了非常重要的角色，甚至比 CPU 还要关键，处于集群的核心位置。大量的实验数据表明，集群的性能和可扩展性主要和消息在节点之间的传递速度有关，这意味着低延迟的消息传递是被迫切需求的，而这正是Infiniband的优势。下面我们就介绍下Infiniband为什么比传统网络更适合高性能计算系统。图 2. 高性能计算集群拓扑根据我们对高性能计算系统的认识，Infiniband的低延迟、高带宽和原生的通道架构对于此类系统来说是非常重要的。低延迟的Infiniband网络可以在保证性能的前提下，增大集群的规模。通道 I/O 架构则可以提供可扩展的存储带宽性能，并且支持并行文件系统。说道 HPC 就不能不提 MPI(Message Passing Interface)。MPI 是应用在 HPC 上主要的消息传递中间件标准。虽然 MPI 也可以应用在基于共享内存的系统上，但是，更多的则是被当作通讯层用作连接集群中的不同节点。MPI 通讯服务依赖于底层的提供节点间真正信息传递的消息服务。Infiniband作为一种底层消息服务为 MPI 层提供了被称为 RDMA（Remote Direct Memory Access）的消息服务。在上面一章，我们讨论了应用程序之间如何通过Infiniband通讯架构来实现直接的通讯，从而绕过操作系统。在 HPC 中，我们可以认为 HPC 应用程式调用 MPI 通讯服务，而 MPI 则利用底层的 RDMA 消息服务实现节点间通讯。这就使得，HPC 应用程序具备了不消耗集群 CPU 资源的通