数据分配策略优化的全条带遥感影像流水线并行处理.pdf

第 33 卷 第 11期 计算机应用与软件 Vo 33 No . 11 2016年 1 1 月 Computer Applications and Software Nov . 2016 数据分配策略优化的全条带遥感影像流水线并行处理 李亚林 12 张洪群 1 李山山 1 1 (中国科学院遥感与数字地球研究所北京100094) 2(中国科学院大学北京 100049) 摘 要 如何快速处理大区域覆盖的高分辨率全条带遥感影像是遥感应用急需解决的问题。提出分布式环境下全条带遥感影像 并行处理模型。该模型采用了数据并行和流水线并行两级并行方法。首先综合考虑遥感数据及其处理算法的特殊性和分布式环境 的异构性，提出一种新的数据分配策略，然后在计算节点引入流水线并行技术。实验结果显示，该模型不仅可以灵活进行复杂的数 据处理 ，还能有效提高数据处理效率。在 7 个计算节点的环境下，相较于传统的串行处理方法，可获得24. 3 2 的加速比。 关键词 数据分配全条带遥感影像流水线并行处理 中图分类号 TP751 文献标识码 A D 0 1 ：10. 3969/j. issn . 1000-386x. 2016.11.028 PARALLEL PROCESSING OF LONG STRIP REMOTE SENSING IMAGE BASED ON PIPELINE WITH DATA DISTRIBUTION STRATEGY OPTIMISATION Li Yalin 1’2 Zhang Hongqun 1 Li Shanshan 1 1 ( Institute o f Remote Sensing and Digital E arth, Chinese Academy o f Sciences, Beijing 100094 , China) 2 ( University o f Chinese Academy o f Sciences ,Beijing 100049, China) Abstract How to quickly process huge area-covering and high-resolution long strip remote sensing image is the problem of remote sensing application to be urgently resolved . Aiming at this problem , this paper proposes a parallel processing model for long strip image in distributed environment . The model adopts two-stage parallel approach with data parallel and pipeline parallel . First , we propose a new data distribution strategy by comprehensively considering the particularity of remote sensing data as well as its processing algorithm and the heterogeneous nature of distributed environment ； then we introduce pipeline parallel technology to each computing node . Experimental results show that the model can flexibly carry out complic