机群管理系统中作业对象数据复制算法研究.pdfVIP

2008正 10,9 西 北 工 业 大 学 学 报 Oct． 2008 第26卷第5期 JournalofNorthwesternPolytechnicalUniversity V0I．26No．5 机群管理系统中作业对象数据复制算法研究 汤小春 ，胡 杰，阎 磊 (西北工业大学 计算机学院，陕西 西安 710072) 摘 要：机群管理系统 中节点的I／0负载过重以及系统的可扩展性是制约其效率的关键。通过使 用作业对象的互复制以及基于快照的并发调度 ，可降低读 ／写操作的等待，同时也使各种操作在机 群节点交替执行，提高了并行性。文 中首先描述 了作业对象的快照模型；给出了作业数据访问协议 并实现了作业对象可扩展复制算法；最后对该算法进行了评价和分析 。 关 键 词：可扩展，作业分析，作业对象，快照模型，机群管理 中图分类号：TP31 文献标识码 ：A 文章编号 ：1000—2758(2008)05—0566—04 机群管理系统rz~3]是通过统一调度多平台分布 括作业数据和作业运行操作 。其 中作业数据包括作 式环境下的作业来实现作业 的自动运行，提高业务 业的脚本、作业的属性、作业的运行参数以及作业的 效率。近年来，在机群管理系统的研究中，其主要 目 状态等；运行操作包括作业的定义、运行、控制等 “写 标在于如何提高系统的吞吐量和缩短作业的运行时 ／更新”操作和作业查询、参数查看等 “读”操作。 间，condor充分利用一些空闲资源来提高系统的吞 作业对象、作业对象的有序关系以及控制流组 吐量 。；LSF使用分布式负载平衡来提高作业的执 成的集合叫作业流。 行速度；NetShepherd使用存储共享提高了可扩展 当多个客户端登录到一个机群节点上进行作业 性和可靠性[3]。但是，随着机群管理系统的增长、网 操作时，作业对象的数据一致性就必须要保证。一种 络带宽和服务节点]／o的限制，用户的访问质量受 新的并发控制方法是在其它机群节点复制作业对象 到严重的影响。特别是当客户与服务器之间的链路 数据，使读／写操作并行运行，只处理写 ／写冲突问 被突发的大流量数据拥塞时，访问质量急剧下降。如 题。这种方案的一个问题是如何保证机群节点之间 何让客户都能够进行高质量的访 问，尽量减少服务 数据以一致性。 器的访问压力是 目前需要迫切解决的问题 。在本 文中，通过作业对象的复制实现对机群节点中的所 2 作业数据复制协议 有作业 的全局访问，并且生成一个完整的系统映像 。 这样 ，无论作业在哪个机群节点上，都允许任何用户 2．1 作业数据快照 对作业进行访问。甚至在作业从一个节点转移到另 机群管理系统中，快照[5]一词反映的情况是：作 一 个节点的情况下，元需任何改动，客户都可以访问 业中的所有读操作根据它开始那一刻服务端作业数 系统上的作业数据。另外，由于数据的复制，系统具 据的状态，看到服务端作业数据 的相同版本。写操作 有更高的容错性。 不会阻止读操作，读操作不会阻止写操作。 当作业的一个操作Q在 t；l时刻开始前，创建快 1 机群管理系统中作业对象 照。快照包含 ￡z时刻前保存的最新的作业状态。每一 个读操作和写操作都被包含到此快照中。在 理时刻 作业对象是机椭 I埋系统的最小调度单位，包 前结束的作业状态对 Q来说是可见的，当操作 Q是 收稿 日期：