基于HBase的矢量空间数据存储与访问优化.docVIP

基于HBase的矢量空间数据存储与访问优化 　　摘要：为了对空间矢量数据进行高效存储、管理与发布，将分布式存储应用于地理信息系统（GIS）的海量矢量空间数据管理。?用网格法对地理空间进行划分，构建地理空间分块索引表，计算出每个网格单元对应的ID；同时为了提高查询效率，引入网格索引ID，设计了一种结合网格索引ID、空间对象几何中心点横坐标、空间对象几何中心点纵坐标、空间对象图层四种信息的行键方案；然后，为了进一步筛选查询纵坐标范围的行键，利用HBase的过滤机制，在行键方案基础上，具体设计集空间对象几何中心坐标点纵坐标和图层信息的组合列族，使得HBase方便高效地管理矢量空间数据，大幅提高查询的处理速度。最后利用Hbase集群环境对所提方法进行验证，该方法具有较好的可行性和较高的效率。 　　关键词：云计算；HBase；行键；过滤；组合列族 　　中图分类号： TP301.6 　　文献标志码：A 　　0引言 　　面对海量和复杂的空间矢量数据，如何对其进行高效存储、管理与发布，已成为一个迫切需要解决的问题。云计算是一种新的分布式计算架构，具有大规模扩展、水平分布的特性，可以提供无限的存储能力和计算能力。将分布式存储应用于地理信息系统（Geographic Information System， GIS）领域是解决海量矢量空间数据管理问题的有效手段[1]。HBase使用Hadoop的分布式文件系统（Hadoop Distributed File System， HDFS）作为底层存储，是一个分布式、按列存储的数据库。HDFS适合于存储海量数据，但它设计是用于大吞吐量数据的，并且有一定的延时，不太适合吞吐量小且要求低延时的访问操作； HDFS只能在文件的末尾添加数据，不支持在文件的任意位置进行修改。地理空间数据的处理，如单条地理对象的查询，数据量不是很大，但要求查询延时短；为了方便对空间数据的处理，地理位置相邻的空间对象尽可能在逻辑存储上也相邻，所以对地理数据执行添加操作时，不能简单地将记录添加到文件末尾；空间数据经常更新，而HDFS不支持文件在任意位置的修改。综上所述，仅使用HDFS存储空间数据并不合适。 　　HBase适合于存储大数据，支持单条记录的快速查询，在任意指定位置单条或批量添加、删除数据。HBase是基于列稀疏存储的行/列矩阵，不存储列值为空的表元素，大大节省了存储空间。HBase与HDFS一样，支持MapReduce框架作分布式计算操作。HBase的行键设计灵活，自动按照字典序排序。HBase的这些特性，十分适合存储和处理空间数据[1]。 　　为了能够高效存储和处理空间数据，本文研究基于HBase的分布式存储，?用网格法对地理空间进行划分，构建索引表，计算出每个网格单元对应的ID，设计行键和列族方案，提高查询效率，为解决空间矢量数据存储与处理问题提供一种初步的探索方案。 　　1相关工作 　　1.1Hbase数据模型 　　HBase是Google云计算的BigTable技术的开源实现，它是一个架构在HDFS上的面向列的、多维度的映射表，具有高可靠性、高性能和高可用性。HBase表结构由行关键字、列族、时间戳组成。HBase 中所有数据都是字符类型。下面介绍一下 HBase 的逻辑数据视图和物理视图。 　　1）逻辑视图。表1对应了Hbase表的逻辑数据模型。一个HBase表组成的3个基本元素为行关键字、时间戳和列族。 　　2） 物理视图。HBase是列存储模式的，在物理存储方面，它是将逻辑上的行分割，并按照每行的各个列族来存储，将各个列族保存到一个或多个HRegion中。 　　1.2矢量空间数据的存储模型 　　矢量数据一般包括空间坐标数据、属性数据和拓扑数据。每一个图层建一张表，根据矢量数据的特点设计的基于HBase的存储图层表结构如表2所示。表中的列族依次是空间数据列族、属性列族和拓扑关系列族。每种数据格式都是字符串类型，使用时解析成相应的数据类型[2]。 　　对于矢量数据，根据不同比例尺、不同图层建立不同的表，表之间没有关系，Row key是图层中矢量要素的唯一ID号。属性数据可有多行，每行代表矢量要素的一种属性；坐标数据采用熟知二进制（WellKnown Binary，WKB）格式存储[3]；如有拓扑关系数据，则将数据存储到拓扑列族中。 　　第11期 　　张叶等：基于HBase的矢量空间数据存储与访问优化 　　计算机应用 第35卷 　　2矢量空间数据的存储 　　2.1矢量空间数据存储的改进总体思路 　　基于HBase的空间数据处理研究尚在起步阶段，相关文献比较有限。在先前的研究中，主要关注点是采用Hilbert曲线降维法将多维坐标降维为字符串[4-5]，以便HBase存