探讨HPS在IBM高性能计算机系统应用.pdfVIP

计算机应用及维护管理技术 探讨HPS在I 的应用木 BM高性能计算机系统 孙婧 (国家气象信息中心高性能计算机室) 摘要 Switch 目前在IBM高性能计算机系统，主要的数据交换通过IBMpSerieslIPS来实现。本文主要介绍了IBM 的发展和特点，在CMA的实际应用配置情况，以及如何对他进行维护管理，并对主要故障情况进行了描述。 关键词：HPS；应用；故障 1 l酬Switoh的发展历史和主要特点 IBM Switch是实现节点间并行通讯用的一种高性能互联网络，是由高带宽、低延迟的交 Switch、 换机组合而成，是节点间消息传输和文件服务的高速通道。它的发展主要经过了HPS SPSSwitch、SP Switch2、pSeriestIPS等产品，详细内容见图1。 IBM 图l Switch的发展 HPS是在2003年发布的IBMswitch最新产品。HPS是在SPSwitch2的基础上 pSeries 存总线接口、高可靠性和高扩展性等特性。 HPS同时支持US(User 行数据传输，在数据传输时，使用US方式可以得到更好的性能。 一个tIPS最多支持16台p690或p655服务器。在双端口(一个卡上有两个端口)配置时， ‘科技部基础条件平台国家气象网络计算应用节点建设项(2004DKA50730) 114 国家气象信息中心2005年科技论文集 宽为4．8GB／Sec，MPI的延迟只有4～9us。 2 l明高性能计算机上HPS的应用现状 2．1 硬件连接 在每一个节点P655(或P690)上配置一块两个端口的SNI(SwitchNetworkInterface)卡， 在节点内部通过局部总线(IBMGX-Bus)直接从IBMPOWER4的CPU连接到SNI扩充卡上。 多，因此采用了两级IBMpSeriesHPS互联。与节点上SNI直接相连的高速开关称之为NSB(Node Switch Board)，而将NSB连接起来的高速开关称之为ISB(IntermediateSwitchBoard)。 在每个NSB上配置16个端口实现与节点的连接，与节点连接的Switch卡为switch copper riser riser optical 个主板上有8个Switchinterface chips。每个chips的0～3口连接外部的SwitchAdapter， 4～7口连接内部的4个chips，形成高速的互联网络，保证其高可靠性运行。 在IBM高性能计算机系统中，业务分区有126个节点，科研分区有256个节点，每个节 点上有一个两个端口的SNI卡；业务分区有12NSB，8ISB；科研分区有32NSB，16ISB。 一个端口将会连接到两组独立的NSB(SwitchPlane)，两个端口为主备的方式来提供硬件层上 的高可靠性的功能。业务分区采用8NSB一4ISB一128WAY的拓扑连接方式，科研分区采用 16NSB一8ISB一256wAY的拓扑连接方式。连接的方式请见下面的图2。 IBM Performance pSeriesHigh Switch 80。128节点连接示意图 ‘曩多能达512节点) Perf SWItchell