多集群系统中作业控制的研究与实现-软件技术.docVIP

多集群系统中作业控制的研究与实现-软件技术 多集群系统中作业控制的研究与实现 顾永立1 叶亮2 1（上海众恒信息产业股份有限公司 上海 200042） 2（上海大学 上海 200444） *资助项目：2014年上海市软件和集成电路产业发展专项资金项目（140301）、基于人口管理的城市社会云服务平台及应用示范（13dz1510400）； 作者简介：顾永立，男，1971年生，博士，主要从事及研究领域：算法分析、多集群，Email：[emailprotected]； 叶亮：博士，讲师。 摘 要 作业控制是多集群系统的核心，作业控制的主要任务就是选择一个合适的集群节点，把作业调度到该节点上去执行。根据多集群系统采用两级调度的特点，本文提出了静态集中式负载调度方法，弥补了传统作业调度方法在多集群系统中的应用缺陷，并探讨了多集群系统中作业控制的结构和功能设计等问题。 关键词 作业调度，负载均衡，多集群 doi:10.3969/j.issn.1674-7933.2015.03.002 0 引言 作业调度是影响多集群系统性能的关键因素。在多集群环境下作业调度的目标就是将作业分配到适合的集群节点，并使得作业按照一定的顺序执行，以提高作业处理速度、减少响应时间，充分利用计算资源。Dave[1]认为作业调度本质上就是在作业与资源之间寻找最佳匹配策略，使系统资源得以合理利用，系统负载保持平衡，从而最终使系统作业的平均响应时间降低，吞吐量增加，获得较好的系统执行性能。目前作业调度在单一的集群计算中研究成果颇丰，但并行作业在多集群系统中的调度依然是一个难题。 从形式上来看，多集群系统中的作业调度问题可以描述如下：假设有k个单一的集群组成的多集群系统： C1 ,…, Ck ，每个集群Ci由m个可共享的处理节点构成： P1,…,Pm 。同时，n个并行作业J= {J1,…,Jn}随机递交到系统中。本文研究的问题就是把n个并行作业调度到k个集群上，使得作业在多集群系统中达到最小的响应时间。 1 多集群系统中的作业调度 多集群系统中的作业调度属于NP完全问题。因此，在实际应用中，人们只能寻找在某一可接受代价下的调度方法。先进先出调度、轮转调度、抢先式调度、空间共享调度和Gang调度等方法，是在单集群系统中运用较多的作业调度方式[2]。然而面对多集群复杂的系统环境，上述这些传统的调度方法已难以适用。目前多集群系统中的作业调度方法主要有两类：一类是循环法，它不考虑当前的连接数或响应时间，将作业顺序的分配给每台服务器，这种方法适合于集群节点的处理能力和作业规模均等同的情况；另一类是负载信息查询法，它在作业提交到批处理队列时，查询所有的集群节点负载状态，把作业提交到负载较低的节点上。当提交的作业规模相对悬殊时，这两种调度方法的效果差异较大：前者使得某些作业要在队列中等待很长时间才能执行，而某些节点则因没有任务而空闲；后者虽然解决了空闲队列问题，但部分作业可能等待较长的时间才能执行。于是，人们又引入动态的调度方法，对于已经分配甚至已运行的作业进行二次调度[3]。但是，由于作业迁移的代价和通信代价，特别是在多集群范围内的动态调度也不能保证最优。 无论采用何种调度算法，作业调度往往以负载均衡为目标。当整个系统的任务较多时，分配给各节点的负载可能并不均衡，从而影响整个系统的利用率。负载均衡的目标是有效地将各个并行任务或作业比较均衡地分布到不同的处理节点并行计算，使各节点的利用率达到最大。 2 多集群系统中的负载均衡 负载均衡是多集群系统作业调度的一项重要工作。对多集群系统而言，由于集群节点分布在不同的地理位置，任务迁移的通信延迟比较大，不适宜使用动态的负载均衡策略。首先，动态负载均衡的实现过程比较复杂，任务转移前的任务选择的决策过程就很复杂耗时。其次，如果采用动态负载均衡的方法，由于任务迁移需要一个比较长的时间段，在迁移过程中，可能任务迁移节点和任务接收节点的负载又发生了变化，可能会出现这样一种情况：当某个节点上的任务向另外一个节点进行迁移时，要接收任务的节点负载已经很大了，而迁移任务的节点的负载反倒又变小了。第三，由于多集群系统的每一个集群节点本身的计算能力就很强，虽然某一时刻该节点的负载很大，但是也不至于影响整个系统的性能。因此，采用静态负载均衡策略是多集群系统的合理选择[4]。 1) 静态集中式负载算法 采用静态集中式负载算法的作业调度过程可大致描述如下： (1)收集并计算系统中所有集群节点的负载，得出多集群系统的平均负载值； (2)分别对负载大于和小于平均负载的节点进行大小排列； (3)在所有的集群节点中寻找一个与提交作业的资源需求最匹配的节点，然后将作