以太集群设计与性能测试.docVIP

以太集群的设计与性能测试 　　摘要：该文在介绍以太集群和其工作原理的基础上，介绍了十六节点以太集群的设计与实现过程，并进行了性能测试分析，以便于结合测试数据进行集群的评价与优化。 　　关键词：集群；设计；性能测试 　　中图分类号：TP202 文献标识码：A 文章编号：1009-3044(2009)05-1062-02 　　The Design and Performance Test of the Ethernet Clusters 　　GUO Feng 　　(Qingdao Hismile College,Qingdao 266041,China) 　　Abstract: This article in the introduction Ethernet Clusters and in its principle of works foundation,introduced 16 node ether colonys design with realizes the process,and has carried on the performance test analysis,is advantageous for the union test data to carry on the colony the appraisal and the optimization. 　　Key words: clusters; design; performance test 　　 　　近几年，随着互联网技术的飞速发展，以现代计算技术、网络技术为基础的数字化生活已经朝着信息化、网络化、现代化的目标迈进，越来越多的科研和工程应用部门在进行大规模科学与工程数值计算时需要海量数据处理。由于超级计算机价格昂贵，短时间内无法普及，而利用以太集群系统实现数据的并行处理，提高整个系统运行的性能，就可以用较低的价格配置来代替超级计算机的工作。 　　 　　1 以太集群简介 　　 　　以太集群提供了一种使用COTS(Commodity off the shelf)硬件构造集群系统以满足特殊的计算需求的方法。所谓的COTS是指象PC和以太网这种广为应用的标准设备，它们通常可以由多家厂商提供，所以通常有较高的性价比。实际上，以太集群现在已被人们看作高性能计算中的一个分支。 　　以太系统通常有一个管理节点和多个计算节点构成。它们通过以太网(或其他网络)连接。管理节点监控计算节点，通常也是计算节点的网关和控制终端。当然它通常也是集群系统文件服务器。在大型的集群系统中，由于特殊的需求，这些管理节点的功能也可能由多个节点分摊。它通常由最常见的硬件设备组成，例如，PC、以太网卡和以太网交换机。以太集群系统很少包含用户定制的特殊设备。 　　 　　2 以太集群系统的设计 　　 　　由于以太集群系统的设计大同小异，只是节点多少的区别。这里以组建16节点的以太集群系统为例加以介绍，其设计主要包括选择相关硬件、操作系统组建局域网、启动相关服务、配置并行环境、系统调试四部分。 　　2.1 组建局域网 　　根据要求可以将该系统划分为服务器节点（接入Internet、提供集群环境、管理数据、进行分割计算任务、进行数值运算）、用户节点（进行数值计算）两种节点。其拓扑结构如图1所示。 　　其硬件设备只是目前的常用的PC设备即可，笔者选用的CPU是16个Intel Pentern IV处理器（技术指标：Norwood芯片2.66GHz）。目前，比较流行操作系统有Windows系列和Linux系列。综合考虑其系统的稳定性和安全性，我采用的是RedHat10.0。由于安装操作系统、组建局域网的方法其他许多地方都有介绍，可以参考相关资料[1]，这里不做叙述。 　　2.2 启动相关服务 　　为了方便操作，实现本地终端登陆远端终端，需要启动telnet服务；在构造以太集群系统时，经常需要在各节点之间进行传输文件，所以我们必须要进行配置FTP服务；为了实现本地节点操纵远端节点，需要Rsh服务；如何在各结点之间高效、一致和快捷地实现数据并行处理是集群系统对文件系统提出的要求。以太集群系统的并行环境中，用户节点镜像服务器节点的并行环境，所以要在各个节点创建一个共同目录，配置Nfs服务。这些可以参考一般的Linux资料都可以实现[2]。 　　2.3 置并行环境 　　以太集群主要目的是实现数据并行，让主机的任务，可以部分让其它负载分担。因此它需要一个可移植的网络计算环境，以便在一个通用的平台上开发并行计算应用软件，一般集群系统都采用消息传递型的编程环境。消息传递既适用于集群系统，又适用于SMP和MPP系统。通用的消息传递编程环境的主要以下两种。 　　1)