基于MongoDB的矢量空间数据云存储和处理系统.pdfVIP

第16卷 第4 期 Vol. 16, No.4 2014 年7 月 Jul., 2014 基于MongoDB 的矢量空间数据云存储与处理系统 1 1,2* 1 1 1 雷德龙 ，郭殿升 ，陈崇成 ，巫建伟 ，吴小竹 (1. 福州大学福建省空间信息工程研究中心，空间数据挖掘与信息共享教育部重点实验室，福州 350002 ； 2. 南卡罗来纳大学, 美国南卡罗来纳州SC 29208) 摘要:近年来，海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中，矢量空间数据更因其较高 的复杂性，成为该类研究的重点问题。本文基于文档数据库，探究了多用户数据存储、矢量空间数据存储、海量矢 量空间数据并行处理等问题，给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上，设计并实现 了矢量空间数据云存储与处理系统VectorDB ，达到了海量矢量空间数据的高效存储与处理要求。系统采用文档 数据库MongoDB 存储矢量空间数据，使用OGR 库实现不同格式矢量空间数据的转换与存储，并用Hadoop 对数据 库中的数据进行并行计算，以及用mongo-hadoop 作为MongoDB 与Hadoop 之间的连接器。通过实验对比了Vec- torDB 与PostGIS 的矢量空间数据读写性能，并分析了VectorDB 与MongoDB 在海量数据并行处理性能方面的差 异。结果表明：VectorDB 具有更好的读取性能和海量数据处理性能，适合多用户不同格式、不同属性矢量空间数 据存储，对海量矢量数据存储与处理问题具有参考价值。 关键词：矢量数据；NoSQL 数据库；MongoDB ；云存储；Hadoop ；多用户 DOI:10.3724/SP.J. 1047.2014.00507 [9] 1 引言 BASE 原则 ，重点保证分区容错性，弱化一致性或 可用性，强调模式自由、读写效率、数据容量，以及 在空间数据获取、存储、分析和应用中，非结 系统可扩展性，支持灵活的分布式体系结构支持横 构化和半结构化存储格式逐渐成为一种主流。在 向伸缩，对硬件的要求较低，更适合数据的高并发 [10-11] 各类传感器、位置服务和社交网络等领域，相关 读写和海量数据存储 。 应用都会产生大量的半结构化或非结构化空间数 NoSQL 数据库根据存储模式不同，可分为键值 [1-3] [12] 据 。关系数据库的传统空间数据存储，一般采用 对、文档、列族和图等4 种数据库类型 。Mon- 2 种具体实现方式：将关系型数据库进行空间扩展， goDB 是一种文档型NoSQL 数据库系统，一个Mon- [4-5] goDB 实例由多个权限控制完全独立的数据库组 或在关系数据库上层增加空间数据库引擎 。传 统关系型数据库在数据管理方面解决了数据一致 成，每个数据库拥有大量的数据集合，每个集合又 性和完整性问题，但是，在海量数据存储、访问与维