关于LSF+API的分布式集群管理系统的开发.pdf

摘 要 随着信息革命的发展，单机的计算能力已经远远不能满足人们进行复杂计算的需 求。于是，早在20 世纪80 年代，人们就提出将多台单机联合起来，形成一个计算能力 更加强大的集群，这就是分布式计算。目前国外在分布式领域尚处于领先地位，但是近 几年由于政府的大力扶持，国内许多企业也已经建立起了自己的分布式计算平台。本论 文是利用国外知名的负载均衡软件LSF ，开发出一套分布式集群管理系统，不仅可以用 于对用户集群中的计算机进行管理，而且能够根据计算机的性能及调度策略合理地分配 任务。 首先，论文分别描述了分布计算、网格计算、并行计算及云计算的特点，并从范围、 应用和本质三个方面分别比较了分布式计算和网格计算、分布式计算和并行计算、分布 式计算和云计算之间的区别。这些知识为分布式集群管理系统的设计奠定了基础。 其次，论文从LSF 的安装及配置、守护进程系统、任务周期系统方面深入地研究了 LSF 软件的基本架构，然后，从LSF API 的基本系统架构、LSF API 的批处理系统架构、 LSF 的基本API 服务、LSF 的批处理API 服务方面系统地介绍了LSF 的批处理系统架 构。通过对LSF 及LSF API 架构的系统认识，为基于LSF API 的集群管理系统的开发奠 定了基础。 然后，论文着重介绍了分布式集群管理系统的设计及实现。首先，从概要设计入手， 描述了系统的各大功能组织之间的关系，并且比较了开发工具和语言之间的区别；然后， 重点介绍了登录系统和主程序框架的设计，并从LSF ADMIN 和BATCH ADMIN 两大系 统结构入手，以其中具有代表性的两个部分为例，详细阐述了其功能设计、后台设计及 页面设计。 最后，论文以一条汽车装配生产线为例，描述了该集群管理系统的应用，然后站在 分布式计算与云计算相关联的角度上，提出了云计算的一种构想，即集群管理系统是云 计算的一种雏形。 关键词：分布式计算，LSF ，PLATFORM ，集群，云计算 I Abstract With the development of the Information Revolution, the stand-alone computing power has been far from satisfying the demand of complex calculations. Thus, as early as the 1980s, people proposed to unite many stand-alone systems to a cluster with more powerful computing capabilities, which is called Distributed Computing. The foreign contries are still in the leading postion currently in this field. However, in recent years, many domestic enterprises have also established their distributed computing platforms due to the government support. This article is in the use of the well-know load balancing software, the LSF, to develop a distributed cluster management system. It‘s not only for the computer user in the cluster management, but also for the rational allocation of tasks according to the computers performance and scheduling policy. Firstly, the article