对地观测大数据处理%3A 挑战与思考.pdfVIP

2015 年 第 60 卷 第 5-6 期：470 ~ 478 《中国科学》杂志社 专辑: 大数据研究与应用 观 点 SCIENCE CHINA PRESS 对地观测大数据处理: 挑战与思考 * 何国金 , 王力哲, 马艳, 张兆明, 王桂周, 彭燕, 龙腾飞, 张晓美 中国科学院遥感与数字地球研究所, 北京 100094 * 联系人, E-mail: hegj@ 2014-08-28 收稿, 2014-10-29 接受, 2015-01-20 网络版发表 国家自然科学基金和中国科学院遥感与数字地球研究所空间数据快速加工与综合服务技术研究规划项目资助 摘要 通过航天航空飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信 关键词 息. 随着空间信息技术的高速发展, 对地观测领域步入了大数据时代. 在分析对地观测数 对地观测大数据 据处理与服务的全流程及其算法的基础上, 总结出“大数据时代”对地观测数据处理面临的 数据密集型计算 挑战——“数据密集型计算” 问题, 并指出解决这一问题应该在系统平台、处理算法和服务模 遥感 对地观测 式3个方面开展创新性的研究工作. 人类借助航天、航空对地观测平台实施对地球不 的各级数据处理以及各类遥感信息的提取与分析. 间断地观测, 通过信息处理快速再现和客观反映地球 全球变化等复杂遥感应用则有必要建立高质量、连 表层的状况、现象、过程及其空间分布和定位, 服务 续、均一和综合的对地观测系统[2]. 为实现全球变化 于经济建设和社会发展. 21世纪以来, 以对地观测技 关键参数和过程的多变量联合观(监)测, 往往需要对 术为核心的空间地球信息科技已经成为一个国家科技 大区域甚至覆盖全球的多时相、多平台、多波段和多 水平、经济实力和国家安全保障能力的综合体现. 空间分辨率的遥感图像进行处理. 而及时准确的海 遥感技术、通讯技术及计算机技术的快速发展, 上溢油轨迹预测、泥石流滑坡监测等突发性应急遥 带来了对地观测数据的爆炸性增长和广泛应用. 尤 感应用通常对处理时效性要求很高, 需在几小时或 其随着高分辨率对地观测时代的到来, 通过机载和 几十分钟内完成大量的多源遥感图像处理运算. 卫星传感器等不同途径获取的遥感数据正以每日太 因此, 有必要深入分析对地观测数据的特点以 比特(TB, 1 TB=1024 GB)级的速度增长, 其中单个遥 及大数据背景下对地观测处理所面临的问题与挑战, 感图像数据集的数据量就可达几十吉比特(GB). 据 并探讨可能的对策与解决方案. 统计[1], 单个数据应用中心将可提供数百个TB 的遥 1 对地观测领域进入大数据时代 感图像, 国家遥感数据存档量将达拍比特(PB, 1 PB= 1024 TB)级, 而全球的遥感数据量将达到艾比特(EB, 21世纪人类对地球进行多尺度、全方位实时动 1 EB=1024 PB)级. 海量遥感数据有待及时、有效地 态监测的能力进一步增强, 获取全球对地观测信息 处理与分析. 的遥感和定位卫星系统迅速发展, 遥感数据获取的 与此同时, 遥感数据处理算法的“数据密集型计 技术和能力全面提高, 可以说对地观测领域进入了 算”特性也日渐凸显. 在遥感数据处理的全流程中, 以高精度、全天候信息获取和自动化快速处理为特 遥感数据处理速率一般远低于遥感数据获取与记录 征的新时代. 码速率, 两者之间存在较大的数据吞吐性能差距. 卫 自19