遥感数据整理箱.PDFVIP

遥感数据整理箱 ——基于哈希格网索引的影像交换文件系统 二〇一四年十一月 基于哈希格网索引的影像文件系统 一，挑 二，存储方案 三，核心原理 四，产品 五，特点 六，主要应用 一，挑 -互联网地图 ■海量数据：全国、全世界的影像数据，“ 国内全覆盖、国外点覆盖”，PB级的数据量。 ■规格多样：各厂家、各投影坐标系、分辨率(高分、中分ETM、低分MODIS)。 ■分辨率不断提高：WorldView3 已达0.3m/pixel分辨率。 ■ 日益更新：影像金字塔瓦片呈指数增长，省市达到千万量级，全中国超过８亿张。 互联网地图： MSTBuilder互联网影像高性能生产系统 二，存储方案-现有方案 方法 结构 时间 缺点 复杂度 瓦片文 OS文件系统 线性表 O(n) ／ 依赖操作系统，效率低，安全性差，部署困难。 件目录 存放 B-tree O( ㏑(n)) 通用 数据库索引 B-tree O( ㏑(n)) 1)动态哈希的缺点。无法范围查询，效率不稳定。 数据库 ／ O( １) 2)不够轻量级。重量级的数据库，无法作为离线数据包 动态 ；较轻量级的SQLite等，数据大小等受限制。 哈希 3)灵活性远不如定制数据包。难存储影像元信息。 空间 主流用传统 树状 O( ㏑(n)) 主要有基于二叉树、四叉树、B树、空间目标排序、哈 数据库 数据库实现 索引 希等方向研究。主流实现仍然是通用的树状索引 结构。 分布式 分布式文件 B-tree O( ㏑(n)) 主流实现仍然达不到Hash算法的效率；要么就是动态 系统、Nosql 哈希算法。 存储 O( １) 数据库 瓦片 瓦片文件 四叉树 O( ㏑(n)) 以B-tree为代表的树状索引，效率已不能很好满足要求 数据包 打包 。 哈希 两级哈希 两级哈 O( １) 格网 格网索引 希格网 二，存储方案-哈希格网空间索引 两级哈希格网 静态哈希 动态哈希 三，核心原理 ■金字塔(格网)哈希： 基于静态哈希的格网法 ■空白索引消除： 两级哈希格网 ■数据多版本 哈希碰撞处理(拉链法/B+) ■并发读写与事务支持 瓦片级锁、 Session 三，核心原理-金字塔哈希 三，核心原理-两级哈希格网 单包 层级 格号(TileX, TileY) ID Level 范围 0 8