MongoDB数据库下文件型数据存储的研究.docVIP

MongoDB数据库下文件型数据存储的研究 　　摘要：针对云计算和WEB2.0环境下不断增容的文件型数据，采用关系数据库和IIS文件系统存储二进制文档效果不理想，关系数据模型制约了存储服务对海量文件信息快速访问和存取的能力。建立非关系型文档数据库MongoDB数据存储和实验平台，将海量互联网文件数据以方式存储结点中实现数据存储。实验表明，该存储系统在文件存储应用中具有较高的可靠性和吞吐性能，易于扩展和开发，为移动云计算中非结构化数据存储提供了一种思路。 　　关键词：MongoDB存储；分布式文件存储；键值存储；非关系型数据库 　　中图分类号：G642 　　文献标识码：A 　　DOI：10.3969/j.issn.1003-6970.2015.11.004 　　0 引言 　　互联网数据的数量正伴随云计算和WEB2.0的兴起而急剧膨胀，数据的种类从传统的记录式存储慢慢过渡到非记录式数据存储，即数据从传统的结构化数据处理转变为对非结构化数据处理。一方面，WEB2.0环境下网站内容通常由用户主动发布，交互性灵活，用户不断浏览媒体信息的同时，也主动将生活数据如微博、相册和音视频等非结构化数据生产出来。另一方面，网络用户众多，现存存储网络数据存储和处理能力急需提升。据中国互联网络信息中心（CNNIC）于2015年7月发布的《第36次中国互联网络发展状况统计报告》数据显示，截至2015年6月，我国网民规模约6.7亿，其中手机网民约6.0亿，众多用户浏览和发布的数据，多以媒体和文件等非结构化信息为主，现存网络的单机中心化处理已经不能满足应用需求。 　　因此，信息系统前端已不再是应用设计难点，文件及媒体型数据的可靠存储成为数据系统设计中的焦点内容，MongoDB数据库于2009年由10gen团队研究，适合文件存储。 　　1 MongoDB数据库存储原理与安装 　　1.1 MongoDB数据库简介 　　MongoDB是一个由C++语言编写的分布式文件存储的数据库，旨在为WEB应用提供可扩展的高性能数据存储解决方案，MongoDB可运行于Windows平台，也可运行于UNIX平台，用户根据应用需求，可以选择32bit版也可以选择64bit版，其中32bit版最大支持2GB文件，而64bit版则无限制。 　　1.2 MongoDB存储原理 　　MongoDB数据库中，数据存储以集合为单位，数据被分组存储于数据集（Collenction）中，每个集合在库中有唯一的标识，集合中可包含多个二进制文件。对应于关系型数据库（RDBMS），MongoDB是非关系型的，业界也将这类数据库称之为非关系型数据库 Not Only SQL，NoSQL）。在关系型数据库和非关系型数据库对应上，RDBMS中的表（Table）可与MongoDB的集合对应。而Table中的一条记录可与MongoDB中的一个键值对相对应。具体一点，RDBMS中的一条记录，有一个或者多个字段，多条记录构成一个规范的二维表，且表中关键字段不能为空，其他字段均可为空。对于MongoDB的模式，一个集合可以有多个元素，每个元素允许有一个或多个键值对，即或A元素有一个键值对，B元素可有二个甚至更多个键值对，B元素键值对的任何一个Key部分不要求与A元素的任何一个Key性质相同，这也就意味着，使用MongoDB时，并不需要事先象RDBMS那样，必须建立一个表结构，而是根据需要随时加入新的，因此是一种无模式（schema）的数据库。 　　MongoDB是面向文档的数据库，在存储文档时，二进制文件将采用的模式，其中Key是一个文件数据的关键字，BinaryValue则对应于一个文件的二进制流。基本的思路就是将table中的行（row）概念转换成为了更加灵活的文档模型。 　　1.3 MongoDB安装方法 　　本研究选择了Windows Servers 2008（64bit）下 MongoDB 3.0.6 64bit版，将压缩包安装解压到本地非系统磁盘D盘，其路径为D： ＼mongodb-win32-x86_64-3.0.6，进入命令提示符状态，并进入bin目录，输入如下命令，即可安装MongoDB为windows系统服务，以便机器重启后wmdows能够自动启动MongoDB。命令如下： 　　D： ＼mongodb-win32-x86_64-3.0.6＼bin mongod-dbpath D： ＼MgW2k8Data＼-logpath 　　D： ＼MgW2k8Data＼mglg.log --directoryperdb-serviceName MongoDataBase -serviceDisplayNameMongoDataBase --install 　　点击“开始”，