基于HBase海量地形数据存储.docVIP

基于HBase海量地形数据存储 　　摘要：随着遥感技术的发展，遥感数据的类型和量级发生了巨大变化，对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题，提出一种四叉树Hilbert相结合的索引设计方法。首先，对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述；然后，在基于四叉树对全球数据进行组织的基础上，提出了四叉树和Hilbert编码相结合的设计思想；其次，设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法；最后，对设计的索引的物理存储结构进行了设计。实验结果表明，利用设计的索引进行海量地形数据入库，数据入库速度与单机情况相比，提高了63.79%～78.45%；在地形数据的范围查询中，设计的索引与传统的行序索引相比，查询时间降低了16.13%～39.68%。查询速度最低为14.71MB/s，可以满足地形数据显示的要求。 　　关键词：HBase；地形数据；云存储；四叉树Hilbert索引；三维地形显示 　　中图分类号： TP391.1 文献标志码：A 　　Abstract： With the development of remote sensing technology， the data type and data volume of remote sensing data has increased dramatically in the past decades which is a challenge for traditional storage mode. A combination of quadtree and Hilbert spatial index was proposed in this paper to solve the the low storage efficiency in HBase data storage. Firstly， the research status of traditional terrain data storage and data storage based on HBase was reviewed. Secondly the design idea on the combination of quadtree and Hilbert spatial index based on managing global data was proposed. Thirdly the algorithm for calculating the row and column number based on the longitude and latitude of terrain data， and the algorithm for calculating the final Hilbert code was designed. Finally， the physical storage infrastructure for the index was designed. The experimental results illustrate that the data loading speed in Hadoop cluster improved 63.79%-78.45% compared to the single computer， the query time decreases by 16.13%-39.68% compared to the traditional row key index， the query speed is at least 14.71MB/s which can meet the requirements of terrain data visualization. 　　Key words： HBase； terrain data； cloud storage； quadtreeHilbert index； 3dimensional terrain data visualization 　　0 引言 　　地形数据是遥感数据的一个重要类型，作用是表征地形起伏特征，是进行遥感数据三维可视化的基础，可以作为遥感应用的地形和地貌显示、虚拟城市建设的数据源。在地理信息系统（Geographic Information System， GIS）中，地形数据主要包括数字高程模型（Digital Elevation Model， DEM）和数字正射影像（Digital Orthophoto Map， DOM），通过DEM和影像数据的共同使用，可以进行三维场景的构造