LMTNEWPBS对多队列作业的运算.docVIP

LMT NEW PBS作业调度运算系统对多队列作业的运算 在网格环境下,如何将分布的计算资源整合起来,根据不同用户提交的作业请求,充分利用网格中的资源,合理调度作业,提高系统的利用率,一直是网格计算要解决的核心问题。作业调度系统正是解决以上问题的功能部件,其基本功能是接受用户的作业请求,根据用户作业特征,对作业队列进行排序,从全局资源池中选取合适的资源,对作业进行资源分配,并监督用户作业的执行。可见网格作业在真正执行前要进行一系列的处理,比如请求解析、资源选择、作业调度和最终提交,目前的大多数作业调度系统一般采用先来先服务( First2Come, First2Service,FCFS)策略,这就带来了以下缺点: 1)缺乏灵活性,无法满足用户的某些特殊需求; 2)缺乏统一的组织管理,作业在进行处理的过程中如果出错,将无法找到其准确的位置,从而影响到进一步的处理。 为此,可以把处理作业的过程按照功能划分成若干个阶段,每个阶段对应一个处理队列,这些队列首尾相连,就构成了一个多队列结构;另外,为了便于对作业的管理,可以设置一个控制中心,它负责将用户的作业请求封装成一个对象,同时可以灵活地控制作业对象在各个处理队列的入队和出队等操作,以上就是多队列作业处理环境的设计思想。 1　作业处理环境的设计 1. 1　作业处理环境的框架结构 作业处理环境由作业控制中心和多队列结构构成,在处理作业的过程中,作业处理环境还需要与网格服务系统中的其他服务和数据库进行交互。 图1　作业处理环境框架 1. 2　作业处理环境的组成 1. 2. 1　作业控制中心 作业控制中心由作业控制器、作业对象工厂和作业对象组成。 作业控制器( Job Controller) 　作业控制器有三个功能: 一是接收用户的调用请求,包含作业提交、控制、查询等; 二是初始化作业处理环境,即启动多队列结构中的每个处理队列所对应的线程; 三是协调、控制作业对象工厂和处理队列处理用户作业请求。 作业对象工厂(Job Object Factory) 　负责创建、管理作业对象。包括对作业对象的查询、销毁以及作业对象的持久化与恢复等。作业对象的持久化是指将作业运行时信息封装在作业对象里,通过序列化将其存储在数据库中。系统通过作业对象的持久化与恢复,适时保存作业信息,支持作业的检查点恢复。作业对象工厂的设计借鉴了编程模式中的工厂模式[ 5 ]。 作业对象(Job Object) 　为了方便对作业请求进行处理,可以将作业请求封装成一个对象,一个作业对象有如下几个特点: 1)作业对象代表用户作业,包含与作业有关的所有信息,贯穿于作业处理的全过程; 2)所有的作业处理都是基于作业对象进行的; 3)作业处理各环节、各模块间通过作业对象保存,传递信息; 4)作业处理相关环节通过作业对象相互调用。 作业对象由两类信息组成: 作业请求信息　与请求相关的信息,即作业描述文档。包括一般信息、执行信息、属性信息、数据信息、扩展信息等内容。 作业处理信息　与作业处理过程的相关信息。包括作业ID号、作业状态、业提交次数等用于作业处理的信息。作业对象中包含了与整个作业处理过程相关的所有信息,这些信息的充分性既保证了作业能够被完整地处理,又使作业保持了高度的独立性。 1. 2. 2　多队列结构 多队列结构由四个处理队列构成,分别是:预处理队列　负责对作业进行预处理,最终为每个到达的作业筛选出可用的资源地址。 调度队列　负责对所有到达的作业按照其可用资源地址进行重新排队,各个作业对象被排队到新的子队列中。然后,对于每个子队列,系统采用多策略的模式进行调度,最终筛选出每个子队列中优先级最高的作业。 资源选择队列　负责对由上一个队列选出的作业进行资源选择,最终为每个作业选择最合适的执行地址。 提交队列　负责将每个作业提交到执行地址上执行。 关于多队列结构还要说明以下几点: 1)每个处理队列本身是一个线程,线程一旦启动起来就可以自动处理作业。为了规范管理作业处理环境中的每个处理队列,系统设计了一个队列模板,定义了一些基本操作,比如入队、出队等,所有的处理队列都是在队列模板的基础上创建的。 2)作为作业对象的容器,处理队列以线程池的形式建立,具有负载平衡的能力,即可以根据设置线程池容量的大小来控制队列中作业对象的数目,当作业对象数目达到容量上限时,新来的作业对象将被排队等待。处理队列为线程池中的每个作业对象创建一个处理进程,负责对作业进行具体的处理。 3)每个处理进程都包含一条处理链,处理链是一系列处理动作的集合,每个处理动作负责对作业对象进行特定的处理。通过修改配置文件JMSConfig,可以灵活添加或