一种自适应资源精细匹配DAG调度方法.docVIP

一种自适应资源精细匹配的DAG调度方法 　　摘 要： 针对目前计算密集或数据密集特征的任务依赖和并行处理的耦合度过高，采用将关联任务的执行顺序控制与并行算法的处理逻辑相分离。该方法通过任务分解的方式和自适应的多资源精细匹配，利用DEM数据建立起十万量级栅格的大流域生态水文过程DAG任务调度模拟。在实验部分，用多重对比的方法评估在分辨率、数据规模、进程数量以及本地资源管理器（LRM）不同条件情况下该方法的性能。实验结果表明，任务分解的自适应多资源精细匹配DAG调度方法大幅度提高了并行性能和效率，具有较好的鲁棒性和扩展性。 　　关键词： DAG调度； 并行算法； 数据密集； 计算密集； 多资源匹配 　　中图分类号： TN911.1?34 文献标识码： A 文章编号： 1004?373X（2017）21?0117?04 　　A DAG scheduling method for adaptive resources subtle matching 　　HU Penghui1， 2， DENG Xiaohua1， 2， WEI Jingbo1， 2， CHEN Lajiao3 　　（1. School of Information Engineering， Nanchang University， Nanchang 330031， China； 　　2. Institute of Space Science and Technology， Nanchang University， Nanchang 330031， China； 　　3. Institute for Remote Sensing Digital Earth， Chinese Academy of Sciences， Beijing 100094， China） 　　Abstract： For the task dependence of computing intensive or data intensive characteristics and the high coupling degree of parallel processing， a method of separating the execution sequence control of correlation task and processing logic of parallel algorithm is adopted. By means of the task decomposition approach and adaptive multi?resource subtle matching， the DEM data is used to establish the DAG task scheduling simulation of the large watershed eco?hydrology process with hundred?thousand magnitude grids. The method performances of resolution， data scale， progress quantity and local resource manager （LRM） are evalua?ted under the condition of different resolutions by means of the multi?comparison method. The experimental results show that the DAG scheduling method of adaptive multi?resource subtle matching for task decomposition can improve the parallel performance and efficiency greatly， and has strong robustness and perfect scalability. 　　Keywords： DAG scheduling； parallel algorithm； intensive data； intensive computing； multi?resource matching 　　0 引 言 　　水文模型是指水文数学模型，而分布式水文模型是指分布式流域水文数学模型[1]。分布式水文模型与DEM结合，用偏微分方程控制基于物理过程的水文循环时空变化，它是探索和认识复杂水文循环过程和机理的有效手段，可用于解决许多水文实际问题。广泛应用于流域水文的模型主要包含SWAT，S