海量复杂结构数据计算方法的应用研究-计算机应用技术专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档； 允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以 采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文 的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 近年来越来越多的传统行业受互联网新技术的影响和推动，运用互联网技术处理数据业 务，由此产生的海量复杂结构数据使得传统的关系型数据库已不再适用。非关系型数据库凭 借其自身结构灵活、高效并发读写等显著特征，为存储、计算复杂结构的数据提供了有效的 数据库系统支持。部分非关系型数据库不仅能处理传统的关系数据和新型的非结构化数据， 还具有一定的对空间地理数据进行存储和应用的能力，但是这种能力与一些专用的地理信息 系统数据库相比还有一定的差距，多种数据库系统的协同应用也成为目前的一种趋势。 本文在研究分析 MongoDB 数据库分片技术原理和基本片键选择方法的基础上，给出了 基于数据库操作场景汇总计算出的数据库操作向量，对分片模式以及数据模型片键选择提供 自动决策的方法，为分布式数据库分存储规划提出新的思路。进而在研究现有关系型数据库 和非关系型数据库基本原理的基础上，分析对比二者在不同应用场景中的优劣差异。重点对 比了 PostgreSQL 数据库与 MongoDB 数据库在对多种复杂结构数据的导入速度、磁盘空间占 用、主键查询效率、非主键查询效率、地理区域关系查询等多方面的效率和性能，并且分析 不同类型的索引对两种数据库的影响，结合电信运营管线资源管理系统分析两种数据库的适 用情境，建立这两种数据协同支撑架构的应用方案，在实际应用中表现出较好的性能。 关键词: 非关系型数据库，复杂数据结构，PostgreSQL，MongoDB，分片决策 I Abstract In recent years, affected and promoted by the impact of new Internet technologies, more and more traditional industries use Internet technology to process data services. Massive date with complex structure makes traditional relational database no longer applicable. With high flexibility and high concurrency, non-relational databases provide efficient support to store and calculate complex structure data. More than just relational and unstructured data, some non-relational databases also offer certain capabilities or deal with spatial or geographic data. Collaborative applications in multiple database systems have become a tendency due to weakness compare to dedicated GIS databases. Base on MongoDB shard technology and basic ways to choose shad key, this thesis gives an automatic decision mechanism of shard schema and shad key by analyzing database operational scene and calculating database opera