可扩展并行机群系统.docVIP

可扩展并行机群系统 一、机群系统的组成 ?机群系统是利用高速通用网络将一组高性能工作站或高档PC机，按某种结构连接起来，在并行程序设计以及可视化人机交互集成开发环境支持下，统一调度，协调处理，实现高效并行处理的系统。从结构和结点间的通信方式来看，它属于分布存储系统，主要利用消息传递方式实现各主机之间的通信，由建立在一般操作系统之上的并行编程环境完成系统的资源管理及相互协作，同时也屏蔽工作站及网络的异构性。对程序员和用户来说，机群系统是一个整体的并行系统。机群系统中的主机和网络可以是同构的，也可以是异构的。目前已实现和正在研究中的机群系统大多采用现有商用工作站和通用LAN网络，这样既可以缩短开发周期，又可以利用最新的微处理器技术。大多数机群系统的并行编程环境也是建立在一般的Unix操作系统之上，尽量利用商用系统的研究成果，减少系统的开发与维护费用。 从应用的角度看，在机群系统出现以前，并行处理系统主要有三大类：第一类是多向量处理系统，以CRAYYMP-90、NECSX-3和FUJITSUVP-2000等为代表；第二类是基于共享存储的多处理机系统，如SGIChallenge和SunSparcCenter2000；第三类是基于分布存储的大模并行处理系统（MPP），比如IntelParagon、CM-5、CrayT3D等。上述第一和第三类系统由于研制费用高、售价高等因素，其市场受到一定的限制。第二类系统由于共享结构的限制，系统的规模不可能很大。RISC技术、网络技术和并行编程环境的发展使得机群系统这一新的并行处理系统形式正成为当前研究的热点。 ?由于RISC技术的发展，使得微处理器的性能不断提高。高档芯片的运算能力平均每年增长30%，价格不断降低，直接使用商用工作站或PC机作为运算结点的机群系统在结点性能上能够同处理器的发展保持同步增长。 ? ???网络技术的进步使得松散耦合系统的通信瓶颈逐步得到缓解。网络传输速度的提高，有效地提高了应用程序之间的通信带宽。快速以太网的速率为100Mbps，ATM局域网的带宽达到155Mbps,622Mbps的产品也已经研制成功。而开关技术的发展则大幅度地降低了传输延迟，使得许多高速局域网能和MPP中的专用互连网络的性能相当。例如，由MyriCom公司生产的Myrinet，提供1.28Gbps的双向链路，已经和专用网络的带宽接近，它的开关延迟每级只有1(s。采用这种网络的机群系统加上新的协议控制机制，点-点的往返延迟只有十几(s到几十(s。UIUC研制的FastMessag平均往返延迟只有12(s，UCBerkeley的ActiveMessage为36(s,与CM-5的专用网络相当，比MeikoCS-2的延迟还要小。 ???? 并行编程环境的开发使得新编并行程序或改写串行程序更为容易。并行应用程序的开发和不同系统之间的可移植性一直是传统并行系统能否广泛应用的一个关键。由于机群系统的发展，近年来出现了多个并行程序开发及运行系统，比如PVM、MPI、Express、Linda、P4等。这些系统的适应平台非常广，应用程序在这些系统上的可移植性较好，特别是PVM和MPI，由于其开放性，受到许多大学和研究机构都有广泛的重视，在这些环境下开发了许多应用程序。 ?? ??这些技术的进步使得机群系统这一并行处理的新的结构形式受到广泛的的关注，国外许多大学和计算机公司都在进行这方面的研究和开发工作。 二、机群系统的特点 ?? ??机群系统之所以能够从技术可能发展到实际应用，主要原因是它与传统的并行处理系统相比有以下几个明显的特点：? ???1.系统开发周期短 ?由于机群系统大多采用商用工作站和通用LAN网络，使结点主机及系统管理相对容易，且可靠性高。开发的重点在通信和并行编程环境上，既不用重新研制计算结点，又不用重新设计操作系统和编译系统，节省了大量的研制时间。 ????2.用户投资风险小 ?用户在购置传统巨型机或MPP系统时会担心使用效率不高，系统性能发挥不好，从而浪费大量资金。而机群系统不仅是一个并行处理系统，它的每个结点同时也是一台独立的工作站，即使整个系统对某些应用问题并行效率不高，但它的结点仍然可以作为单个工作站使用。 ??3.系统价格低 ????由于生产批量小，传统巨型机或MPP的价格都比较昂贵，往往要几百万到上千万美元。而构成机群的工作站或高档PC机是批量生产的，因而售价较低。由近十台或几十台工作站组成的机群系统可以满足相当多数应用的要求，且价格较低。 ????4.节约系统资源 ????由于机群系统的结构比较灵活，可以将不同体系结构，不同性能的工作站连在一起，这样就可以充分利用现有设备。从使用效率上看，机群系统的资源利用率也比单机系统要高得多。UCBerkeley计算机系100多