基于冗余分配的调度算法研究.docxVIP

基于冗余分配的调度算法研究 网格（gri）是新一代的分布计算环境和基础设施。提供全方面的综合资源共享和基于主题的高性能计算。它向人类描绘了一台虚拟的超级计算机画面，整个网格就是一台计算机，其资源可以取之不尽、用之不竭。目前，比较有影响的网格体系结构为国内的织女星网格体系结构、五层沙漏结构、开放网格服务体系结构(OGSA) 和开放网格服务基础结构(OGSI) 。任务调度是这些体系结构中必不可少的环节，因为用户的请求最终会被分置到网格的各资源节点上执行，从而最小化任务的执行时间，充分利用网格资源。 在网格计算中，通过对网格中计算力资源的整合，充分使用网格中的剩余计算力是一种最常见的利用资源的形式。在这种以出卖计算力为主的网格中，一个客户无法知道陌生的远端机计算出来的结果的正确性：有可能远端机为了获取经济利益故意伪造结果；或是远端主机本身的处理能力不够，如产生了错误的浮点结果等。本文针对该问题研究了现有的网格调度算法，并对以出卖计算力为主的网格提出了基于冗余分配的调度模型。 1 基于服务质量的调度算法 任务调度是根据任务的信息和资源的信息采用适当的策略把不同的任务分配到合适的资源节点上运行的过程。网格中任务调度的特点为： (1) 导致网格资源异构并且状态多变的因素主要有客观和主观两方面。客观上，网格是大范围的环境，自然会有很多意外的情况发生，这要求调度中具有预测系统，通过资源的历史记录对其现况进行预测。主观上，网格环境中大多数网格成员并不是专门为计算网格中的任务服务，只是提供部分计算力完成某些任务。资源的所有者并不希望它的资源专门为网格服务，因此会为自己的资源加上某些限制，如闲置周期以及用户对资源的使用权限等。同时资源的所有者有其自身的本地任务，不可能为网格上的远程任务提供完全的服务。在这种环境下的任务调度要复杂一些。 (2) 由于任务对资源的需求各异，网格环境中的调度器必须综合考虑应用和服务质量的约束，以获得应用与资源之间较好的匹配，因此提出了基于服务质量的调度算法。这里服务质量的概念对于不同的资源可能有不同意义。例如，对于网络资源，QoS可为提供给应用程序的可用带宽；而对CPU资源，QoS意味着任务所想获得的处理速度，如浮点运算速度。 (3) 现有的调度算法都是基于粗粒度，并且相互之间独立或只有极少联系的任务。因为若任务联系过密，会导致通信量增加，反而使整个计算效率下降。这样，适合于网格计算的通常是一些容易分割成相互独立子任务的应用。 任务调度的基本思路可概括如下： 任务ti在机器mj的期望执行时间ETij(Expected Execution Time）定义为mj空载时执行ti的总时间。ti在机器mj的期望完成时间CTij定义为最终完成的时间（应包括完成其前面所有任务的时间）。设ai是ti的到达时间，bi是ti的开始时间，则CTij=bi+ETij。 常用的调度算法描述为： 算法需要不断地计算未调度的任务的期望完成时间。 (2) ～ (4) 为计算每个任务在每个机器上的期望完成时间； (6) 是按照某种评价方式f1对任务i在每台机器上的期望完成时间得出其评价值metrici； (8) 为使用某种标准f2在每个任务的评价值中找出符合标准要求的最优的任务与机器的匹配match (m, n) ；最后将任务m分配到机器n上执行。 例如，Min-min和Max-min算法定义评价方式f1为取最小的完成时间，即某个任务i的metric值为它在所有机器上的完成时间的最小值。不同的是，Min-min的标准f2是选择metric值中的最小值，而Max-min是选择最大值。 从上面的分析可以看出，一个好的调度取决于两个方面，即对资源系统信息的预测及对应用程序 (也可以认为是任务信息) 的预测。资源系统的信息包括使用率、任务服务的速率、任务到达的速率等；应用程序的信息为工作量、可分割性、可并行性、完成时间等。一个关键的问题是：当为某些子任务指定的资源显示出不正常的状态时（从它的历史数据中预测而得），如何保证并行应用的性能，即调度系统应在执行期间预测出资源的不正常状态 (如负载过重) ，重新安排调度。因此，一个调度算法是否成功取决于系统及应用状态预测的精确度。这种预测是从其历史信息中获得的。 根据预测的性质可将调度分为两种：一种是基于短期预测的调度，如AppLe项目使用了NWS服务提供的短期预测系统；另一种是基于长期预测的调度，采用这种方式的是GHS (Grid Harvest Service) 。 2 资源调度器、任务分配器和预测器的缺陷 通过网格购买空闲的计算力有很大的发展前景，但这种方法很难保证所获得的计算力能够计算出正确的结果。这里提出冗余分配任务，使之在二个或多个节点上运行。其结果被多次验证后认为是正确的。 调度模型由资源调度器、任务分配