兼顾费用与公平的带通信开销的多有向无环图调度.docVIP

兼顾费用与公平的带通信开销的多有向无环图调度 　　摘要：针对云环境下多有向无环图（DAG）工作流的调度算法应考虑执行时间、费用开销、通信开销、公平性等多个指标的问题，在模型带通信开销的DAG（CADAG）的基础上结合公平性算法提出一种优化完成时间的后向求异（BD）原则与兼顾费用和公平的多DAG调度策略CAFS。CAFS调度策略分为两个阶段：预调度阶段利用带通信开销的工作流费用优化（CACO）算法在考虑通信开销的同时求解所有任务的最优服务并优化费用，采用fairness算法得到较公平的调度顺序；调度阶段采用BD原则，根据在预调度阶段得出的调度顺序进一步优化整体的完成时间并执行调度。实验结果表明，CAFS调度算法具有较好的公平性，在不提高费用的基础上时间减少19.82%。 　　关键词：多有向无环图调度；通信开销；费用；公平；工作流 　　中图分类号： TP393 　　文献标志码：A 　　0引言 　　云环境中用户对使用的服务付费已经成为一种趋势。云服务提供商在大型服务器上部署多种服务[1]，根据各个服务的服务质量（Quality of Service， QoS）制定收费标准。用户向服务商提交的工作流由这些服务完成，每个工作流中包含多个任务，每个任务可以由若干个服务完成。云环境下对多个用户提交的工作流及其中的任务调度应考虑执行时间、费用开销、通信开销、公平性等多个指标，通常是一个NPhard问题[2]。单个工作流通常使用有向无环图（Directed Acyclic Graph， DAG）描述。工作流调度是指从云环境中的众多服务中根据用户的特定需求确定最优服务并假定所有服务都能提供与承诺一致的服务质量。针对单DAG截止前约束的优化调度已有诸多学者作了研究， 　　苑迎春等[2-4]提出的DBL（Deadline Bottom Level）基于分层算法，在分层之后逐层进行局部优化；在此基础上又提出了BSRD（Backward Serial Reduction with Deadline）对分层算法中的时间窗口重新定义，能为一个串归约得到局部最优解。刘灿灿等[5-6]的截止期约束逆向分层（Temporal Consistency based Deadline Bottom Level， TCDBL）算法基于DBL，研究工作流的时序特征，进一步优化了工作流的执行费用。然而上述算法均没有考虑到任务间跨节点的数据传输带来的不可忽视的通信开销[7]。郭禾等[8]提出的带通信开销的工作流费用优化（Communication Aware Cost Optimization，CACO）基于分层算法，并提出FC（Forward Consistent）规则求解考虑通信开销情况下的最小完工时间，优化了执行费用。上述这些算法都是考虑单DAG在一组资源下的调度执行，而在云环境下往往需要同时调度多DAG。多个DAG共享一组分布式资源，由于不同DAG间的竞争，必然存在调度时间上的公平性问题[9]。Zhao等[10]提出了DAG滞后程度（Slowdown）的定义，并提出基于Slowdown的公平性算法，有效地解决了多个DAG的公平性问题。Henri等[9]提出了一种不折中公平性且能优化并行任务调度性能的方法。田国忠等[11]提出的PDTC（based on the Probe of the Total Cost Decrease）使用吞吐量最大化算法预调度工作流，若仍有冗余时间则具备优化的条件；但其目标均为单一优化最小完成时间，没有考虑到云环境中各任务的执行费用问题。 　　综上，本文提出CAFS（Communication Aware Fair Scheduling）将CACO应用于云环境下的考虑通信开销的多DAG调度以优化执行费用，使用公平性算法调度多个DAG以提高公平性，提出后向求异（Backward Difference， BD）原则用于优化CACO在公平性算法下的时间性能。实验表明，CACO运用于公平性算法比DBL、正向分层算法（Deadline Top Level， DTL）、TCDBL性能好，CAFS能够在不增加费用和不降低公平性的基础上优化工作流的完成时间。 　　1带通信开销的多工作流模型 　　带通信开销的DAG工作流模型CADAG（Communication AwareDAG）[8]假设n个用户提交的DAG（G1，G2，…，Gi，…，Gn）在云环境下的q个服务资源（M1，M2，…，Mi，…，Mq）上同时进行调度[11]。如图1所示的带通信开销的DAG模型可以表达为G=〈V，E，S〉，其中V={0，1，…，v}表示DAG中的任务；E={eij}（i、 j∈V）为有向边的集合，eij为节点i、 j的通信开销；S表示服务集，任务i的一个