集群并行作业管理系统自动生成器的原理与实现.docVIP

集群并行作业管理系统自动生成器的原理与实现 　　【 摘 要 】 集群提供了基于命令行、Web界面或图形用户界面的多种作业管理方式，但各有缺点，要么要求用户会编写命令脚本，要么占用过多的计算资源。文章在此提出一种全新并行作业管理方式，并开发出集群并行作业管理系统自动生成器，可根据用户集群环境自动生成常见有限元分析软件接口源程序，经编译后可运行在大多数集群上。 　　【 关键词 】 集群系统;作业管理;并行计算 　　Mechanism and Implementation of Automatic Parallel Job Management System Generator 　　Zhang Chun-ming Yang Tian-hong Wang Qing Jia Peng 　　（Northeastern University LiaoningShenyang 110819） 　　【 Abstract 】 A cluster system provides a number of ways of job management based on command line， Web or graphical user interfaces which either require users to be able to write scripts or take up a large capacity of computing resources. Therefore， it is presented in this paper a new parallel job management approach， and an automatic script generator is developed as such to help users generate corresponding finite element analysis software user interface source code which can be run on most cluster systems after compilation. 　　【 Keywords 】 cluster system; job management; parallel computation 　　1 引言 　　集群系统作为当前高性能并行计算机发展的主流，由一组完全独立的计算机结点，通过高性能网络连接而成，具有单一系统映像、高可用性、高性价比和高可扩展性的特点。 　　中心实验室的SGI高性能集群系统采用SMP：对称多处理并行计算机体系结构，由拥有多个处理器的SMP 节点和连接各节点间的快速网络构成多级体系结构，具有共享存储和分布存储两级存储结构。该系统采用混合并行模式，即节点内采用多线程化、节点间采用消息传递。每个结点配备主频为2.6GHz的64核CPU（AMD Opteron （TM） 6282），512 GB主存和2 x 2TB RAID1 + 8TB RAID0硬盘阵列。双精度浮点运算速度理论峰值为每秒13312亿次。其管理网络采用千兆Ethernet以太网结构，高速计算网络采用基于开放标准的Infiniband高速网络，具有高带宽、低延迟的特点，带宽最高达120Gbps，延迟低于100 ns，特别适合大规模并行计算。为满足岩土力学数值计算的要求，实验室还配备了多种有限元计算软件，如 Comsol Multiphysics多物理场耦合分析有限元软件、ABAQUS工程模拟有限元软件和ANSYS有限元分析软件等。 　　众所周知，大多数集群采用的是Linux操作系统，虽然这些系统也提供图形用户界面，但出于性能和用途（高性能计算）等因素考虑，大部分情况下使用命令行方式操作更为方便和高效，而这对于习惯了图形操作界面的普通用户来说不是十分方便，不但要熟悉各种Linux命令，而且还要弄清不同厂家不同版本Linux命令之间的细微差别。其实，对于只使用集群做大规模科学计算的用户来说，完全没有必要掌握这些命令。然而，问题还不止这些。由于集群在运算时会在每个结点上创建一个有限元分析软件的运行实例，因此若全部采用图形界面，势必会浪费更多的计算资源，影响计算效率，甚至可能因自身占用资源过多而导致超负荷的情况。这一点我们深有体会，当初在联想深腾1800集群上测试以图形方式使用COMSOL软件进行并行计算时就因遇到过这种情况而最终放弃这种计算模式。 　　另一方面，从集群设计的初衷来看，集群制造厂商不推荐、也不希望用户以图形用户界面方式使用集群。其实，这一点从集群结点通常只配备中低档图形显卡就可以看出来。当需要对计算结果进行分析时，一般都是下载