基于数据挖掘的数字化矢量数据存储组织研究.docxVIP

基于数据挖掘的数字化矢量数据存储组织研究 建设第二次全国土地调查数据库体系是第二次全国土地调查工程的重点。其目标是建设第二次全国土地调查数据库管理系统，对国家土地调查的第二次结果进行集中管理，为国家土壤资源的宏观规划和管理决策提供准确、详细的土地调查数据。建立长期数据报告和快速更新机制，保持土地调查数据库的潜力，并实行土地调查数据库与国家、省、市、区四个阶段的互联互通和同步更新。 第二次全国土地调查国家级数据库管理系统主要存储第二次全国土地调查形成的全国农村土地调查数据以及相关影像等数据,同时也包括第二次全国土地调查完成后每年的年度更新的土地调查矢量数据和影像数据等更新数据。主要数据内容包括:矢量数据、DOM数据、DEM数据、元数据和其他文档类数据。 第二次全国土地调查产生的数据量十分巨大,据估算近100 TB(DOM影像数据不小于55 TB,DEM数据不小于10 TB,土地调查矢量数据约2—5 TB,文档及其他数据约为0.5 TB),加上备份数据约200 TB,并且数据量将会逐年递增。这些数据内容复杂,种类多样,既有矢量数据也有栅格数据,涵盖县、市、省、国家多种尺度。目前的海量数据存储和管理技术还不能适应这样的需求,急需加强研究,确保第二次全国土地调查国家级数据库管理系统建设项目的顺利完成。 1 海量影像数据存储管理技术 国内外涉及海量数据存储与管理的研究较多,但主要关注于存储软硬件设备,涉及海量空间数据存储的较少。李圣伟提出将大数据量的影像数据以BLOB的方式存储在Oracle中,但没有涉及空间数据的空间索引技术研究。汪超亮等对基于文件系统的海量遥感数据目录文件系统进行研究。陈建明等对基于SQL Server的三维遥感影像数据库影像数据存储管理技术进行研究,探讨了分层金字塔模型应用效果。 目前国内外海量影像数据存储管理技术主要有三类:基于文件系统的存储管理技术、基于基础GIS平台软件的存储管理技术和基于Oracle Spatial Geo Raster的存储管理技术,但这些技术均离国家级数据库管理系统的建设需求有一定的差距。基于文件系统和基于Oracle Spatial Geo Raster的存储管理技术在数据安全、并发共享以及效率等方面不能满足土地调查数据的管理和应用需求;基于基础GIS平台软件的存储管理技术是把影像数据以BLOB字段的方式存进商用数据库软件中,在应对海量数据管理等方面的效率不能满足土地调查数据的管理和应用需求。海量矢量数据存储管理技术主要有两类:基于基础GIS平台软件的存储管理技术和基于Oracle Spatial的存储管理技术,基于基础GIS平台软件的矢量数据存储管理技术是传统、常用的技术,但面对海量矢量的并发查询、检索时,效率较慢,不能满足应用需求;基于Oracle Spatial的矢量存储管理技术的海量矢量并发查询、检索效率较高(可以利用Oracle的集群技术),但其空间应用工具又较少,也不能满足应用需求。因此需要融合Oracle Spatial和基础GIS平台软件的共同优势,研究如何存储组织海量矢量数据,以满足国家级数据库管理系统建设需求。 2 基于露天开放图像数据存储的技术设计 2.1 arcgis和orale的图像数据存储模型 2.1.2 元数据存储及压缩 Oracle影像存储由Oracle Spatial模块来实现。Oracle Spatial包括一个可以原生管理Oracle数据库中的地理参照栅格数据的数据类型,这些栅格数据包括人造卫星图像、遥感数据和网格化数据。Oracle Spatial的Geo Raster特性提供了图像的地理参照,用于元数据管理的XML模式,以及如金字塔分层、分块和交叉等基本操作。可以使用它来存储、索引、查询、分析和提供栅格图像和网格化数据及其相关元数据。Geo Raster提供了Oracle空间数据类型和一个对象关系模式。可以使用这些数据类型和模式对象来存储多维网格层和栅格图像,这些网格层和栅格图像可以对应到地球表面或本地坐标系统中的位置。Geo Raster还支持行业标准的压缩技术,包括JPEG基线(有损)和DEFLATE(无损)。 Geo Raster数据在Oracle的文档中定义为栅格影像(raster image)和网格数据(gridded data),以及与它们相关联的元数据(metadata)。Geo Raster提供了Oracle Spatial的数据类型和实体—关系模式(object-relational schema)。用户可以直接使用这些数据类型和模式对象来存储带有地理坐标的栅格数据。Geo Raster还提供了一系列丰富的配套函数以支持影像处理。 2.2 系统建设需求 从目前情况来看,Arc GIS和Oracle Spatial的存储特点不