一种适用于Master-Worker应用动态统一调度算法研究.pdfVIP

计算机科学2008V01．35NQ．4A 李琪林1甄威1周明天2 (四川电力试验研究院系统室 成都610072)1(电子科技大学计算机学院 成都610054)2 摘要Master-Worker模型广泛地被用于分布式并行程序的开发。但是，在动态、异构的计算环境中高效地实现 于应用运行行为及它们间的数据依赖关系，进行统一调度，提高任务的并行度，改善应用的性能。文中详细论述了 DUSA算法。与几种典型的调度算法相比，本算法具有较好的性能且易于实现。 关键词调度，自适应，计算网格 应用开始执行前，建立该应用的DAG图；第二，根据第一步 1 引言 建立的DAG图，确定可以调度的任务集；第三，在每一iter- ation结束时，我们动态地收集每一任务的平均执行时间和 近年来，计算网格(ComputationalGrid)[1]正逐渐代替传 统的超级计算机环境，成为高性能和资源集中应用的关键平 工作负荷，基于该信息动态自适应地确定Worker进程数， 台。但是，计算网格资源和其访问方式具有内在的多样性； 并将调度集中的就绪任务分配给Worker进程。 而且可用资源的数目和网络行为也是动态的，难以预测；这 2．1整个应用DAG图的建立 使得网格应用的开发变得异常困难。为了简化计算网格应用 为了建立应用的DAG图，我们首先建立构成该应用的 的开发，一些典型的系统如Netsolve[21，Nimrod／C；[引，and所有任务的DAG图。图的节点代表子任务，边表示该任务 AppLeS[叫被提出。 与其父辈任务的数据依赖关系。一旦所有任务的DAG图已 Master-Worker模型广泛地被用于分布式并行程序的开经建立。我们引入一个节点作为所有DAG图的rOot节点， 发，通常具有iterative行为。每一任务在其后继重复执行时将所有的DAG图合并成一个DAG图。但该节点与所有任 总是表现出前面的iteration相似的行为，因此可以基于某一务DAG图的根节点的边并不代表它们问实际的数据依赖关 特定iteration中应用的行为预测其未来的行为，而这些特性系。 使得Master-Worker模型非常适于计算网格环境。过去分布 并行应用的经验表明有效的任务调度是保证应用性能的基 Ll 础。为了保证计算网格环境中MasterWorker应用的性能， 调度算法必须根据工作负荷，合理地分配Worker数，使所 L2 有Worker始终忙碌；从而有效的利用资源，尽可能快地完 成应用。针对Master-Worker模型，出现了一些典型的调度 L3 and 算法如Random，LPTF，LPTFExpectation和Random and Average[引。 IA 但不幸的是，上述的调度算法很少考虑网格环境的动态 性和应用的运行行为，也忽略了任务间的数据依赖关系。为 了保证Master-Worker应用的性能，我们提出了一种动态统 图1合并和分层的DAG Unified and SchedulingA190- 一的调度算法DUSA(Dynamic 图1中，我们引入一个rOot节点，将两个DAG图合并 rithm)，利用Master-Worker应用的it