基于Linux的Beowulf集群的实现.docVIP

基于Linux的Beowulf集群的实现 1 概述 1977年，DEC公司推出了以VAX为结点机的松散耦合的集群系统，并成功地将VMS操作系统移植到该系统上。20世纪90年代以来，随着RISC技术的发展和高性能网络产品的出现，集群系统在性能价格比(Performance/Cost)、可扩展性(Scalability)、可用性(Availability)等方面都显示出了很强的竞争力，尤其是它在对现有单机上的软硬件产品的继承和对商用软硬件最新研究成果的快速运用方面表现出了传统大规模并行处理机(Massively Parallel Processor，MPP)无法比拟的优势。 目前，集群系统已在许多领域获得应用。可以预见，随着对称多处理机(Symmetric Multiprocessor，SMP)产品的大量使用和高性能网络产品的完善，以及各种软硬件支持的增多和系统软件、应用软件的丰富，新一代高性能集群系统必将成为未来高性能计算领域的主流平台之一。具有代表性的集群系统有IBM的SP2、SGI 的POWER CHALLENGEarray、Microsoft的Wolfpack、DEC的TruClusters、SUN的SPARC cluster 1000/2000PDB以及Berkeley NOW等。我国国家智能计算机研究开发中心的曙光－1000A、曙光－2000I和曙光－2000II也都属于集群系统的并行计算机。简单地说，并行计算机就是用若干（几到几千）处理器并行执行一个作业，以提高计算效率。并行计算机的结构、规模、性能可以有很大的差异，其价格也就可以从人民币数万元到数亿元。以较低的投资，用若干台性能较高的PC机组装成集群并行计算机，采用Linux操作系统以及目前在各类并行机上通用的信息传递接口MPI并行环境，以此为起步发展并行计算和研究，是一个合适的选择。计算机科学技术的发展在高性能计算领域为其他科学技术的发展提供了越来越宽广的平台。另一方面，科学技术的发展对高性能计算环境（硬、软件）不断提出更高的要求。以磁约束聚变研究为例，磁约束受控核聚变研究是以探求未来能源为目标的。托卡马克(TOKAMAK)是磁约束受控核聚变研究中进展最快、参数最高的研究途径。20世纪90年代在欧美的托卡马克上成功进行的氘-氚聚变反应实验，使得磁约束受控核聚变的科学可行性得到了初步证实。目前人们正从作为聚变能源的要求来开展托卡马克研究。托卡马克的研究对象是高温等离子体，是一个具有巨大数目(例如1020个)自由度的极为复杂的非线性系统。数值模拟是主要的研究手段之一。在我国，随着核聚变等离子体物理研究（托卡马克实验、理论和数值模拟）不断取得新的进展，特别是国家大科学工程HT-7U超导托卡马克计划的实施，对高性能计算提出了更高的要求。针对特定的研究领域，在一定的财力资源下，集群并行计算机可以为数值模拟的发展提供串行计算机系统所无法比拟的高效平台。 2 Beowulf集群系统简介 Linux环境下的集群系统中比较有影响的是Beowulf集群。Beowulf集群的研究是由美国国家航空航天局(NASA)于1994年启动的。1994年，Thomas Sterling和Don Becker等人构建了一台由以太网连接的拥有16个DX4处理器的集群。他们把这个集群计算机叫作Beowulf，主要用来进行地球、空间科学的研究。Beowulf的主要目的是使用普通的、相对廉价的计算机构建能够处理繁重计算的集群。此后,Beowulf的思想迅速被世界上许多研究机构认同和接受。在Beowulf集群上运行的软件是Linux操作系统、并行虚处理机(Parallel Virtual Machine，PVM)和消息传递接口MPI(Message Passing Interface)。一般由服务节点来控制整个集群。服务节点是集群的控制台和对外的网关。在规模比较大的Beowulf集群中可以有多个服务节点，例如专门用集群中的一个节点作为控制台或统计整个集群的运行状态。通常，除服务节点外，Beowulf集群中的其他节点都是哑成员，即它们不与外界交互。这些成员节点由服务节点来管理，执行服务节点分配的任务。 Beowulf集群中的成员节点以及内部连接是集群专用的。从这一点来看，Beowulf更像是一台完整的机器，而不是一个由许多计算机组成的松散的群体。集群下的大多数节点没有键盘、显示器等，只是通过远程登录来访问控制它们。就像CPU和内存可以方便地安装到主板上一样，Beowulf的节点作为内置的模块插入Beowulf集群中。Beowulf集群中的节点之间的连接（通常是高速网络，比如FastEthernet、ATM、Myrinet等）也是仅供节点间使用，它与集群与外界连接的普通网络相隔离。这些特点使得Beowulf