遥感大数据分布式技术研究与实现-中国气象科学研究院期刊网.pdfVIP

第 卷 第 期 应 用 气 象 学 报 ， ２８ ５ Ｖｏｌ．２８ Ｎｏ．５ 年 月 　　　　　　　 　 　　 　　　 ２０１７ ９ ＪＯＵＲＮＡＬＯＦＡＰＰＬＩＥＤＭＥＴＥＯＲＯＬＯＧＩＣＡＬＳＣＩＥＮＣＥ Ｓｅｔｅｍｂｅｒ２０１７ 　 ｐ 罗敬宁，刘立葳 遥感大数据分布式技术研究与实现 应用气象学报， ， （）： ． ． ２０１７２８５ ６２１６３１． ： ／ ＤＯＩ１０．１１８９８１００１７３１３ 遥感大数据分布式技术研究与实现  罗敬宁 刘立葳 　 （国家卫星气象中心，北京 １０００８１） 摘 要 　　 面向卫星遥感海量数据，针对其数据量的急速增长，对数据分析、价值挖掘提出了全新的挑战，引入驱动大数 据应用的分布式模式，建立了适应卫星遥感大数据的网格模型，打破了数据的时空割裂和限制，数据可以作为整体 进行存储、计算和应用，模型设计的网格、时间片、物理层的基本结构，可以保证未来云计算的实施。该文提出了基 于希尔伯特曲线的网格散列算法，以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力；遥感 大数据分布式系统，实现了数据的高速分布式并行读写，支持数据的精确时空匹配和动态获取，整个系统的扩展能 力可以达到线性增长，系统基于通用软硬件平台实施，实现卫星遥感大数据灵活、按需和简便的应用。 关键词：卫星遥感；空间网格；大数据；希尔伯特曲线；分布式系统 随着全球信息技术的发展，分布式存储和计算 ［ ］ ４５ 引 言 技术在最近 年得到了极大发展 ，无论是理论 １０ 　 基础、现有实现、用户使用都已经具有完备的知识体 近 年来，全球各种数字化数据信息呈爆炸性 系和技术储备。 设计实施的分布式文件系 １０ Ｇｏｏｌｅ ｇ ［］ ６ 增长，一个大规模生产、分享和应用数据的时代正在 统 （ ） ，以及