一种高效遥感数据处理集群调度算法研究.docVIP

一种高效的遥感数据处理集群调度算法研究 　　摘 要： 遥感技术的进步使遥感数据质量得以提高，体量急剧增长，因此有必要研制高效的遥感数据处理集群系统用于提高遥感数据处理的效能。对遥感数据处理的时效性评估可以从处理效率和计算资源利用率两个角度进行评估。提出一种结合遥感数据处理先验值的动态双向实时匹配调度算法，即同步考虑先验值、任务情况和计算节点状态的双向调度的方法。实验结果表明，该算法有效的提高了集群系统的遥感数据处理效能。 　　关键词： 任务调度； 动态双向匹配； 遥感数据处理； 集群 　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2016）05-04-04 　　Abstract： The progress of remote sensing technology makes the quality of remote sensing data improved， and the volume of the remote sensing data increased rapidly. Therefore， it is necessary to develop an efficient remote sensing data processing cluster system to improve the efficiency of remote sensing data processing. The timeliness of remote sensing data processing can be evaluated from two perspectives： the processing efficiency and the computing resource utilization. In this paper， a dynamic bidirectional real-time matching scheduling algorithm combined with the prior value of remote sensing data processing is proposed； its a bi-directional scheduling method of simultaneous consideration of the priori values， task conditions and the computing node state. Experimental results show that the proposed algorithm can effectively improve the efficiency of remote sensing data processing in cluster system. 　　Key words： task scheduling； dynamic bidirectional matching； remote sensing data processing； cluster 　　0 引言 　　随着遥感技术的快速发展，遥感数据量呈现几何级增长，实际应用中对遥感数据处理的时间和精度要求越来越高。集群处理系统的出现大大提高了遥感数据处理的速度。高效的遥感数据处理集群调度方法，是充分发挥集群平台优势的关键所在。 　　中国科学院遥感与数字地球研究所研制的面向遥感数据高性能处理集群系统[1，11]具有成本可控、可靠性高、扩展性强等特点，该集群系统的作业调度模块包括调度节点和计算节点两个部分。调度节点是集群系统中某一台计算机，负责整个集群系统资源分配和任务的调度，保存有面向任务队列和面向计算节点队列。此外，调度节点上存储有各个计算节点的负载信息表，表中保存有计算节点的一些实时信息如计算节点MAC地址，CPU利用率等，还存有生产各种遥感产品所需要的平均时间等。计算节点是集群系统中所有计算机，调度节点也可作为计算节点使用。每个（台）计算节点都连接到调度节点，负责接收调度发来的产品生产任务，和调度节点协同完成工作，计算节点还带有各种产品生产所需要的动态库、参数等信息；数据的组织管理采用五层十五级标准[2]。 　　目前，常用的任务调度算法有：先来先服务算法、双匹配动态模型算法、截止期最早优先等。这些算法都各有特点。先来先服务算法[10]就是根据到达的先后顺序调度执行，结构简单容易实现，但该算法短作业在系统中的驻留平均时间与长作业的驻留平均时间相同，这对短作业是不利的；双匹配动态算法[6]能够较好地实现负载与系统吞吐率的平衡，但当系统中任务量逐渐增多时，性能快速下降；截止期最早最优先算法[12]根据任务截止期来决定任务执