多集群作业管理方案设计论文(共5390字).docVIP

多集群作业管理方案设计论文(共5390字) 1多集群作业管理功能分析 是一个典型的多集群作业全局调度模型。多集群作业管理在调度时首先依据全局资源状态选择某个或某些合适的集群，称为全局调度;然后作业被分配到本地某个具体的集群，按照本地的资源管理器进行作业调度，称为本地调度;作业进入本地调度阶段后，按照本地原有的队列和调度规则进行资源分配，最终在集群各CPU上执行。多集群作业管理的主要功能包括:用户与权限管理、资源信息监控、作业全局调度与管理、数据传输与管理。 (1)用户与权限管理模块。多集群作业管理系统是运行在本地HPC集群作业管理系统之上的，本地HPC集群必然有自己的用户系统，而多集群作业管理平台也有自己的用户系统，必须在两个用户系统间设计一种用户映射的方式，同时还要设计权限控制机制。 (2)资源信息监控模块。资源信息监控管理是作业全局调度的基础，全局调度系统在做出决策之前，必须要事先知晓各个本地集群的CPU负载和内存占用比例等状态信息。因此，需要设计全局的资源监控系统，负责管理和维护系统中各个集群负载的情况，为作业管理调度决策提供支持。 (3)全局作业调度与管理模块。多集群调度的基本目标是协调和平衡集群间的工作负载。需要设计全局的作业管理和调度器，作业调度器根据各个集群机身负载信息做出调度决策，调度用户作业到相应的本地集群，并提交给本地集群作业管理系统。同时还要为用户设计作业状态的订阅及通知机制。 (4)数据传输与管理模块。由于用户作业可能被调度到任意地理位置上的集群上运行，因此，作业输入参数和计算结果需要能够在整个系统中透明的传输。同时，还要为用户提供输入参数上传和计算结果下载功能。在设计机制实现透明传输文件的同时，还必须保证该文件传输的可靠性和稳定性。 2多集群作业管理设计思路与技术方案 2．1消息中间件JMS 采用JMS［9－10］(JavaMessageService)消息中间件来进行全局作业的调度和统一管理。JMS的消息模型和通信特点在网络很不稳定的情况下也能保证稳定性和可靠性，并且JMS强大的接口能力可以方便灵活的进行定制，方便根据用户作业的资源需求及各个集群自身负载情况进行统一管理和调度。 2．1．1JMS特点及基本组成 JMS可使分布式系统的通信松散连接，即发送信息的客户端只需要负责发送信息，接收信息的客户端接收信息，两个客户端之间没有必要是同时可用的，甚至发送客户端都没有必要知道接收客户端的信息，只需要发送到接收信息的服务端。同时JMS还具有以下两个特征: (1)异步的，服务端可以发送信息到一个客户端，客户端不需要为了收到信息而请求信息。 (2)可靠的，JMSAPI保证了服务端所有发送的信息最少发送一次和只发送一次。JMS由提供者、客户、生产者、消费者、消息、队列、主题七个部分组成。其中，提供者指JMS的实现，可以认为是JMS消息服务器;JMS客户指生产或消费消息的基于Java的应用程序或对象;JMS生产者是指创建并发送消息的JMS客户;JMS消费者则是接收消息的JMS客户;消息指可以在JMS客户之间传递的数据的对象;另外，JMS队列指一个容纳那些被发送的等待阅读的消息的区域，这些消息将按照顺序发送。一旦一个消息被阅读，该消息将被从队列中移走;JMS主题指一种支持发送消息给多个订阅者的机制。 2．1．2JMS的通信方式Java消息服务应用程序结构支持两种模型:点对点或队列模型、发布/订阅模型。 (1)在点对点或队列模型下，一个生产者向一个特定的队列发布消息，一个消费者从该队列中读取消息。在这种模式下，只有一个消费者将最终获得消息。同时，生产者不需要在接收者消费该消息期间处于运行状态，接收者也不需要在消息发送时处于运行状态。 (2)发布者/订阅者模型支持向一个特定的消息主题发布消息。该模型如图2所示，对某个消息主题感兴趣的订阅者可以订阅并得到该主题的所有消息。同时，在发布者和订阅者之间存在时间依赖性。发布者需要建立一个订阅(subscription)，以便客户能够购订阅。订阅者必须保持持续的活动状态以接收消息，除非订阅者建立了持久的订阅。在那种情况下，在订阅者未连接时发布的消息将在订阅者重新连接时重新发布。图2JMS发布－订阅消息模型 2．2本地集群作业管理 PBS、LSF是已有常用的单个集群作业管理系统，采用多种本地集群作业管理系统，在减少设计复杂度的同时，还可以充分满足不同本地集群管理多样性的需求。PBS的主要特点有:代码开放，免费获取，提供完整的API。LSF特点是拥有强大的可用性和资源管理功能。 2．3基于FTP的文件集中统一管理方案 由于多集群可能在地理位置