基于动态竞标机制的密集计算网格作业调度模型.pdfVIP

第26卷第2期 华 东 交 通 大 学 学 报 Vol|26 No．2 20o9年 4月 J0umalofEastChinaJia0t0ngUniversity Apr．，2009 文章编号：1005—0523(2009)02—0o81—05 基于动态竞标机制的密集计算网格作业调度模型 柴亚辉 ，周 娟 ，刘觉夫 ，胡林峰 (1．华东交通大学 信息工程学院，江西 南昌330o13；2．上海大学 计算机工程与科学学院，上海20oO72) 摘要 ：通过对当前密集计算网格上的作业调度系统的不足之处进行了分析，继而提 出将经济模型引入到网格的作业调度 系 统，并提 出了一个基于动态竞标机制的分级网格作业调度策略。最后，通过在高性能集群网格节点 自强3000与 自强2000 上 的模拟 网格资源上进行 了对比实验 。 关 键 词 ：密集计算网格；动态竞标机制；作业调度；价格策略 中图分类号：TP393．01 文献标识码：A 密集计算网格主要是在进行问题求解时产生很大的存储和计算需求 ，对参与求解的计算机的计算性 能有很高的要求，因此构建密集计算网格系统的节点往往以集群、服务器等高性能计算机为主。而网格技 术能够十分有效地提高计算的吞吐率，将大量空闲的计算机的计算资源集中起来，提供给对计算性能要求 很高而在单机或者几台计算机上很难短时间解决的问题 ¨J。网格作业调度的主要 目的与作用是根据不 同的网格作业任务需求与当前的网格资源状况进行资源分配，实现对网格资源的优化使用，为用户提高更 好的服务质量。 当前密集计算网格的调度系统中主要采用的是性能驱动型的网格作业调度策略，主要是基于优先级 的启发式调度 ，一般采用基于优先级的 “双最”调度策略(即最高优先级作业运行在满足其资源需求的最 高性能资源节点上)，但该策略有以下不足：(1)单靠静态的优先级显然不能反映出各资源性能的动态变 化情况；(2)只是按照作业优先级和资源优先级进行调度，有时会导致调度的资源并不一定是消费者最需 要的或最适合的；(3)在某些特定情况下，会造成某些低优先级作业的饿死现象。 1 动态竞标经济模型 基于当前密集计算网格系统在实际运行中的不足，我们将经济型调度模型引入网格作业调度系统。 经济学尤其是市场机制非常适合解决计算网格环境下的作业调度和资源分配问题。网格是一个异构的、 动态的分布式环境 ，对资源的使用和资源的供应都是在不断的变化之中。通过引入经济学，特别是基于价 格的市场机制，由价格的浮动来反映资源供需情况的动态变化…，通过供需均衡实现资源优化配置，能够 很好地反映网格的动态特征。本文提出一个基于OGsA框架的新的经济学调度模型，并利用GlobusTool— kit网格中间件和PBsPr0作业管理排队系统，将各种网格资源封装成 “网格服务”，并且具有相应的动态 收稿 日期：2009—01—2O 基金项 目：南昌市重点科技攻关项 目(洪财企[2008]68号) 作者简介：柴亚辉 (1977一)，男，河北高阳人，讲师，研究方向为网格计算、高性能计算技术。 82 华 东 交 通 大 学 学 报 2oo9年 价格 。为了使供需双方都获得最大的受益，在网格的全局调度中采用动态价格竞标的策略对网格作业 所需的资源进行调度分配。 2 网格作业调度算法设计 益黼行列一一一队 2．1 两级调度结构 在网格计算环境中，作业调度实际上分为两级，全局网格作业调度和本地资源上的本地作业调度 J。 当用户递交作业后，由系统选择一个合适的资源进行实际运算。图1为一个基于两级调度的密集计算网 格作业系统调度状态流程图。在全局调度层，采用动态竞标机制的经济模型调度策略，而在本地调度中采 用性能型的作业调度策略。全局调度包括两个部份，一个是预测即将调度的网格作业在各个资源服务上 运行的时间，寻找满足作业时间约束的资源，称为作业运行时间预测；另一个是向满足作业时间约束的资 源服务满足预算条件的资源中进行竞价，选择运行费用最低的资源，即动态竞标。 用户作业 — 嘲格porta1