基于nosql的时空数据模型构建和存储方案研究-计算机系统结构专业论文.docxVIP

中文 中文摘要 重庆大 重庆大学硕士学位论文 I I PAGE PAGE VI 摘 要 随着人类社会不断信息化、数字化和智能化，时空数据在国民经济与日常生活 中发挥着日益重要的作用，不断被应用于各个领域，如事件预测、环境监测、城 市演化、交通管理、地震救援、全球或区域气候、物流配送、实时 GIS、面向大数 据的时空数据挖掘与分析等。时空数据系统是一种对数据进行采集、储存、分析 处理和可视化的信息系统，既是对现实世界的模拟和进行空间数据分析处理的手 段，也是一门对时空数据信息处理分析的科学技术。怎样在大数据环境下解决时 空数据的存储和分析计算是业界的研究热点。 时空数据库作为时空数据系统的核心，是时空数据系统进行存储和计算的基础， 由于传统时空数据模型基于关系型数据库构建和存储，所以必须将问题领域模型 转换成关系结构，转换代价较高，存储时将空间信息和时间信息割裂开来，同时 关系型数据库受范式限制难于扩展、灵活性差、对于较为复杂的查询涉及大量连 接操作，导致效率急剧下降。因此需要寻找能够对时空数据统一建模和存储的解 决方案。 NoSQL 是大数据环境下发展起来的非关系型、可水平扩展的、分布式的数据 库，能够处理半结构化、结构化的数据，支持高并发的读写，存储模型包含键值、 列族、文档、图等。NoSQL 摆脱了关系型数据库范式限制和 ACID 约束，没有固 定表结构和低效的连接操作，基于 CAP 理论、BASE 并发事务模型和最终一致性， 因此具有更好的伸缩性和灵活性。NoSQL 为海量数据的存储和云计算环境下的数 据分析与计算提供了坚实的基础，能够有效存储格式多样、数据量大、关系复杂 的时空数据。 本文首先对主流的时空数据模型和存储方案进行了系统的分析，介绍了国内外 研究现状；然后详细介绍了时空数据特点和代表性数据模型，阐述了 NoSQL 数据 库的理论、数据模型以及相对于关系型数据库的优势；提出了基于 NoSQL 的时空 数据模型和存储的总体架构，分析了 Hadoop 结合 MongoDB 的时空数据模型构建 与存储，针对栅格数据与矢量数据特征结合 MongoDB 基于文档存储模型，设计了 相应的数据转换模块和栅格数据、矢量数据存储模型，结合 Hadoop 对大数据的处 理能力，介绍了基于 MongoDB 存储和 Hadoop 分析、计算的典型应用；利用 Neo4j 对具有复杂关系的时空数据进行建模和存储，提出了基于图数据库的时空数据时 间表达和空间表达方法，应用实例说明了该模型的可行性，并且介绍了 Neo4j Spatial 库在时空数据处理方面的高效性和 Neo4j 集群架构；最后, 基于曙光的 XDATA-HADOOP 平台搭建了 MongoDB 与 Neo4j，对论文提出的架构搭建了原型 系统，在原型系统上进行了测试，测试结果分析表明了论文提出的基于 NoSQL 的 时空数据模型和架构的可行性与有效性。 关键词：时空数据，非关系型数据库，Hadoop，MongoDB，Neo4j 英文摘 英文摘要 重庆大 重庆大学硕士学位论文 III III PAGE PAGE IV ABSTRACT with informatization, digitalization and intellectualization of Human society, spatial-temporal data plays an important role in national economy and daily life, continues to be used in various fields such as event prediction, environmental monitoring, urban evolution, traffic management, earthquake relief , global or regional climate , logistics, real-time GIS, Spatial-temporal data mining for big data. Spatial-temporal data system focus on acquisition, storage, analysis and processing and visualization of data, which not only simulated real world and analyzed, processed spatial data but also as one subject of spatial-temporal data analysis and processing of scie