一种基于Hilbert曲线的HBase遥感影像检索方法.docVIP

一种基于Hilbert曲线的HBase遥感影像检索方法 　　【摘 要】本文在分析海量遥感影像存储特点和HBase的基础上，将Hilbert曲线应用到遥感影像金字塔中，提出一种利用HBase快速检索海量遥感影像的方法。实验结果表明，该方法不仅在集群上解决了单机无法解决的海量遥感影像存储问题，而且实现了海量遥感影像快速的检索。同时，该方法还可以应用到对海量遥感影像的进一步处理中，以加快海量遥感影像的并行处理速度。 　　【关键词】HBase；Hilbert；海量遥感影像；影像金字塔；快速检索 　　0 引言 　　遥感影像信息丰富且形象直观，在地理测绘、资源环境监测、军事侦察与战场感知等方面具有重要应用。随着对地观测技术的快速发展，人类每天接收及处理产生的遥感影像数据量正在以几何级数增加，加上之前积累的影像，获取的遥感影像已达到海量的级别。而管理海量遥感影像的能力却没有跟上影像增长的步伐，导致“影像数据越多，可用的影像越少”[1]。 　　在这种情况下，传统的集中式存储已无法满足海量遥感影像的管理要求。随着云计算的兴起，由于云计算本身就具有“无限的计算能力和存储能力”[2]，其自然成为当前海量遥感影像存储管理的首选方案。云计算并不是新发明的技术，而是众多已有技术的综合集成。Hadoop[3]是Apache软件基金会的开源云计算系统。Hadoop的三个关键部分HDFS（Hadoop Distributed File System）、MapReduce、HBase[4]，分别是Google云计算的GFS、MapReduce、Bigtable的开源实现。其中，HBase是建立在HDFS上的可随机读写、面向列存储、支持海量数据快速检索的分布式数据库。本文将Hilbert曲线应用到影像金字塔模型中，提出一种基于HBase的高效管理海量遥感影像方法，实现了海量遥感影的快速检索。 　　1 HBase体系结构 　　HBase是Apache软件基金会下的一款开源分布式数据库软件。HBase建立在HDFS之上，适用于对海量数据进行随机快速读写。 HBase构建在廉价计算机上，具有高可靠性、高稳定性、可伸缩及面向列族存储的优点。 　　HBase在其结构和应用特点上不同于传统关系型数据库。HBase为了更好的可伸缩性和灵活性削弱了其他方面的优势，从而使得HBase具有独特的数据模型。这也导致了其在表的设计方面与传统关系型数据库有很大区别。 　　HBase系统架构： 　　HBase的底层是Hadoop，其具体负责文件的可靠存储与管理。HBase的主要组成部件有： 　　1）HBaseMaster 　　HBaseMaster负责分配HRegion给HRegionServer，同时监控HRegionServer的运行情况。 　　2）HRegionServer 　　HRegionServer负责处理HBaseClient的读写请求，同时与HBaseMaster联系，以获取服务所需的HRegion并报告HBaseMaster自身的运行状况。 　　3）HBaseClient 　　HBaseClient负责寻找存储了所要检索数据的HRegionServer，其中HBaseClient会首先找到存储RootRegion的位置。 　　4）HFile 　　HFile是HBase实现Bigtable快速检索和存储功能的基本单元，主要负责列族数据的存储。 　　2 基于Hilbert曲线的影像金字塔模型 　　影像金字塔是目前公认的管理海量遥感影像的数据模型[9]。影像金字塔的分层分块策略使客户端可以快速获取所需显示的影像。本文的影像金字塔采用Plate Carree投影[9]。Plate Carree投影是一种可描述全球地理范围的投影。在Plate Carree投影中，设层级为level（level≥1），规定第level级的行列数为：RowCount=2ColCount=2。 　　通常，为提高瓦片影像数据管理的空间聚集性，需要将空间填充曲线应用到影像金字塔模型中。目前，常用的空间填充曲线有行序、Peano曲线、Hilbert曲线等，如图所示。Hilbert曲线源自经典的Peano曲线簇，是目前已知编码曲线中空间聚集性最好的一种。 　　本文采用0，1，2，3依次表示Hilbert曲线经过一个2×2基本类型单元的次序。第一层的东西半球分别用“1”、“0”编码。将瓦片存储到HBase数据库时，每个瓦片都对应一个Hilbert编码（简称Hcode），如“0323”。基于Hcode组织瓦片的特点为： 　　①瓦片的Hcode字符长度与其级数相等； 　　②在Hcode上相邻的瓦片，空间位置也相邻；空间位置相邻的瓦片，Hcode一般也相邻。