探讨HPS在IBM高性能计算机系统的应用.pdfVIP

国家气象信息中心2005年科技论文集 宽为4．8GB／Sec，MPI的延迟只有4～9us。 2 l明高性能计算机上HPS的应用现状 2．1 硬件连接 在每一个节点P655(或P690)上配置一块两个端口的SNI(SwitchNetworkInterface)卡， 在节点内部通过局部总线(IBMGX-Bus)直接从IBMPOWER4的CPU连接到SNI扩充卡上。 多，因此采用了两级IBMpSeriesHPS互联。与节点上SNI直接相连的高速开关称之为NSB(Node Switch Board)，而将NSB连接起来的高速开关称之为ISB(IntermediateSwitchBoard)。 在每个NSB上配置16个端口实现与节点的连接，与节点连接的Switch卡为switch copper riser riser optical 个主板上有8个Switchinterface chips。每个chips的0～3口连接外部的SwitchAdapter， 4～7口连接内部的4个chips，形成高速的互联网络，保证其高可靠性运行。 在IBM高性能计算机系统中，业务分区有126个节点，科研分区有256个节点，每个节 点上有一个两个端口的SNI卡；业务分区有12NSB，8ISB；科研分区有32NSB，16ISB。 一个端口将会连接到两组独立的NSB(SwitchPlane)，两个端口为主备的方式来提供硬件层上 的高可靠性的功能。业务分区采用8NSB一4ISB一128WAY的拓扑连接方式，科研分区采用 16NSB一8ISB一256wAY的拓扑连接方式。连接的方式请见下面的图2。 IBM Performance pSeriesHigh Switch 80。128节点连接示意图 ‘曩多能达512节点) Perf SWItchell PerfSWItches (NSB SWrtch●●，(tsB8Witch●o) 图2Switch硬件连接示意图 3．2节点上S…的配置 IBM高性能计算机中的每个节点均有两个HPSSNI卡，连接在不同的HPS网络中(snO和 mlO是一个基于snO和snl之上的虚拟网络接口，能够实现负载均衡和snO／snl之间动态接管。 在操作系统中需要为snO／snl／mlO分别配置位于不同网络的IP地址。 对于高性能计算机内的所有节点，可以设置在一个网络内。但是为了实现通过千兆网络 做路由，使每个节点透过lIPS网络，然后透过千兆网络实现用户共享文件系统，需要将每个 分区的同类型网卡(snO或snl或mlO)设置在不同的网络中。目前各个分区共配置了9个不 115 计算机应用及维护管理技术 同网段的lIPS网络，三个分区之间是不能通过switch直接互通的。 在AIX中使用lIPS网络时，建议使用mlO地址，从而实现负载均衡和保证高可靠性。同 maxsize、 win minszie等参数值。 3．3 H№上SNM的配置 在IBM高性能计算机系统，需要通过SNM(SwitchNetwork Mangement)软件管理HPS， 通过在HMC上启动FNM(FederationNetwork 的拓扑结构，主节点的选择以及初始Switch网络。 每个HMC上，需要定义一个网络用于FNM的进程通讯，为了提高系统的性能和安全性， 这个网络需要单独定义，使该网络仅仅用于HMC之间的通信，区别与管理网段的CWS、HMC 之间的通信。 目前IBM高性能计算机每个分区的BMC不需要互相通信。为