基于MongoDB海量活断层探测文件存储入库方法.docVIP

基于MongoDB海量活断层探测文件存储入库方法 　　摘 要：针对关系型数据库无法满足海量活断层探测文件入库效率要求与存储无法横向线性扩展的问题，基于MongoDB非关系型数据库的海量活断层探测文件存储入库方法，充分利用MongoDB内存文件映射方式，可动态增加节点以扩展性能、提高负载。以南水北调中线核心水源区活断层管理系统为例进行测试，与传统关系数据库存储入库文件方式进行性能对比试验分析，结果表明：该方法显著提高了海量活断层探测文件的存储入库与查询效率，能有效解决关系数据库存取非结构化数据时的性能瓶颈问题。 　　关键词：MongoDB；活断层；非关系型数据库；南水北调 　　DOI：10.11907/rjdk.171390 　　中图分类号：TP301 文献标识码：A 文章编号：1672-7800（2017）009-0004-03 　　Abstract：In a relational database can not meet the massive active fault detection and storage file storage efficiency requirements can not be horizontal linear expansion of the problem， try to use non relational database MongoDB massive active fault detection method based on file storage， which makes full use of MongoDB memory file mapping， dynamically add nodes to extend and improve the performance. Taking water source area core active fault management system as an example for testing， analysis， performance comparison test with the traditional relational database storage file results show that this method significantly improved the massive file active fault detection in storage and query efficiency， effectively solved the bottleneck problem of relational database access to unstructured data. 　　Key Words：MongoDB； active fault； non relational database； the south-to-north water diversion project 　　0 引言 　　活?嗖阃环⑿源矶?是引起地震灾害的主要原因，确定活断层滑动速度、位置等参数，建立相应数据库可帮助社会有效降低震害损失。美国地质调查局（USGS）公布了全美范围内第四纪活断层与褶皱汇编数据库；新西兰地质与核科学院（GNS）建成了新西兰活动断层数据库；1996年中国已初步建成了第1个活动构造数据库[1]，仅存储了活断层几何学与运动学基本信息，信息单一且不具备开放性。随着多种先进技术探测手段的运用，面对获取目标区域最全、最新、精细化海量探测文件数据，怎样保证数据高效分类入库及提供高性能查询服务，是建立开放性活断层探测信息管理系统的关键环节。 　　传统活断层探测信息系统采用关系型数据库（RDBMS）管理[2]。考虑到多种探测数据，特别是地形地貌等遥感数据的多时态、大数据量，且随时间推移数据量指数增长的特点，RDBMS难以支撑海量数据的存储扩展与高效查询时遇到的性能瓶颈问题。非关系型数据库（NoSQL）具有高效存储与访问、高并发读写、高可用性、高可扩展性等特点，能极大提高数据库读写性能与系统扩展能力，而MongoDB是NoSQL的典型代表。鉴于此，本文提出一种基于MongoDB的海量活断层探测文件存储入库方法。 　　1 MongoDB简介 　　MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为应用提供可扩展的高性能数据存储解决方案[3]。数据分不同类型存储在同一个数据集中，成为一个集合，支持的数据结构非常松散，是类似JSON的BSON格式，因此可以存储比较复杂的数据类型。MongoDB最大的特点是支持的查询语言非常强大，其语法类似于面向对象的查询语言，几乎可以实现类