浅论海量数据组织管理方法.docVIP

浅论海量数据组织管理方法 　　摘要：本文在对海量空间数据进行了一定的分析基础上，探讨了当前针对海量数据组织管理的金字塔结构存储方法和线性四叉树的空间索引结构。并通过示例程序开发验证其有效性。 　　关键词：空间数据库；海量数据；四叉树；金字塔 　　Abstract: In this paper, based on the analysis of the massive spatial data, discussed the current spatial index structure in Pyramid according to the structure of storage method and linear mass data organization and management of the four fork tree. And its effectiveness is verified by example program development. 　　Key words: spatial database; data; four fork tree; Pyramid 　　 　　中图分类号：C36文献标识码：A文章编号： 　　1 引言 　　自90年代以来，高空间分辨率遥感卫星开始向大众敞开大门，作为GIS的重要数据来源——遥感数据量快速增长。卫星遥感影像是一种以栅格数据模型存储的数据，其最明显的特点是数据量大、数据结构单一。同时遥感数据是一种大面积的、动态的、近实时的数据源，是GIS数据更新的重要手段。遥感数据可用于提取线划数据和生成数字正射影像数据、DEM数据[1]。我国的领土面积为960.1216万平方公里，如果全国的遥感影像用QuickBird 0.61m分辨率的影像来记录据估算需要72092.15GB[2]。为了使这些海量空间数据得到更好的应用,必须考虑采用更为有效的组织管理手段对海量空间数据进行组织管理。 　　解决此问题，在GIS中对大范围空间数据的统一有效的组织管理有很大帮助。早在90年代，美国ESRI公司推出空间数据引擎(SDE)对该问题提供了一种解决方案，依托于关系数据库环境,采用高效空间目标模型(Efficient Spatial Object Model)对空间实体进行完整组织。此举一方面避免了大数据量传统拓扑模型组织数据时需要的大量的硬盘访问操作；另一方面，空间信息作为关系库中的成员，属性信息与图形信息形成一体化，避免了通过标识码连接属性，大大提高了信息检索的效率[3]。同时，在ArcGIS9.0以上版本的ArcCatalog中又新增了栅格目录（Raster Catalog）的数据组织方式，很好的满足了目前流行的以图幅为单位进行空间数据采集并更新的需求。 　　从当前空间数据的生产及数字化过程看，以图幅为单位进行管理的局面一时难以改变[4]。故本文将讨论以图幅为基本存储单位,在此基础上对其用多金字塔结构进行空间数据组织并利用四叉树作为海量栅格数据的空间索引的海量数据组织存储方法。 　　2 海量数据分析 　　在研究海量数据的组织管理方法前，首先要研究如下问题：由于我国的国土面积较大,正射影像产品空间参考大都是以高斯投影后的平面坐标为基础,对于一个省级或国家级的大型影像数据库而言,由于投影分带的原因,正射影像产品的空间参考的起算原点并不相同[5]。尤其内蒙古自治区这类跨地域很长的省份按照高斯投影后的坐标不会是一个3°高斯投影带，每个带的坐标都是以本带的坐标原点为参考点,空间基准不统一,而且相邻两带带边的图幅变形很大。这样,在多个坐标原点和带边数据存在几何变形的情况下,给省级或国家级这样的大型影像数据库的无缝数据组织带来了问题。所以首先要解决的是大型遥感影像数据库的空间无缝浏览的技术，相关的技术已经在其他文献中多次被提到，本文就不再赘述。 　　3 海量数据组织管理方法 　　为了提供高速数据查询、显示、刷新以及网络传输等，在组织和管理海量数据时应使用高效的存储形式和快速高效的索引机制。 　　3.1海量数据存储技术 　　当前GIS栅格数据库模型分为传统的关系数据库系统（RDBMS）、对象数据库系统（ODBMS）和对象关系数据库系统（ORDBMS）。 　　下面简要介绍一下GIS栅格数据在Oracle中的存储方式。栅格数据在存入数据库时，需将实体对象之间的关系转换为支持的数据结构模型，根据对象类别在数据库中对应建表，空间对象属性映射为关系数据库中的列或字段，每个空间数据对象对应一条数据记录。栅格数据包含的三类数据中，与记录空间数据对象几何属性的图像数据相对应的字段是一种复杂的数据类型，因此对于空间数据库来说，关键问题是如何利用独立于关系数据库系统的统一数据模型处理反映空