云平台下NoSQL分布式大数据存储技术与应用.docVIP

云平台下的NoSQL分布式大数据存储技术与应用 　　摘 要： 随着移动互联网云计算、大数据的快速发展，以图片、视频等组成的数据存储急剧增加，目前已有存储方式无法满足系统需要，而NoSQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点，其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和NoSQL的MongoDB数据库技术设计非结构化数据云存储架构，证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题，提升非结构化数据存储服务质量。 　　关键词： Hadoop云存储平台； MongoDB数据库； 非关系型数据库； 云存储 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2016）09?0044?04 　　Abstract： Since the mobile Internet cloud computing and big data are rapidly developed， and data storage composed of pictures and videos is sharply increased， the existing storage methods can′t satisfy the system requirement. The NoSQL distribu?ted big data storage technology is widely used in cloud computing field due to its characteristics of extensibility， fast read speed and mass data processing. The unstructured data cloud storage architecture was designed with MongoDB database technology based on Hadoop platform and NoSQL. The unstructured data storage technology of cloud storage can alleviate the difficulties exiting in the current unstructured data storage， and improve the service quality of unstructured data storage. 　　Keywords： Hadoop cloud storage platform； MongoDB database； NoSQL； cloud storage 　　随着Web 2.0技术的发展，越来越多的非结构化数据比如文档、图片、音乐、视频等产生。IDC研究表明：当前企业中有80%是非结构化数据，并且以60%的增长率在不断增加。如何突破传统技术，实现大规模数据高效存储和利用管理是当前面临的重大挑战。 　　1 NoSQL数据库技术 　　非关系型数据库（NoSQL）是一种全新的非关系型分布式存储技术，该数据库数据不但包括日常的文本数据，还包括如图片、视频、FLASH动画等其他数据，因其具有海量存储、灵活易用、高并发等特点，可以为系统提供一个可扩展的松耦合类型数据模式，该模式严格遵循CAP定理，能够很好地支持非结构化数据的存储，满足高并发读写需求，具有很好的扩展性。 　　目前的NoSQL数据存储主要包括以下几种，具体见表1。 　　（1） 键值对存储。通过对提供的键值对数据存储，能够很好地满足系统的读写需求，例如MemcacheDB，Redis，Dynamo。 　　（2） 文档数据存储。能够高效满足系统的海量数据存储和访问需求，目前的存储主要包括MongoDB和CouchDB等，能够很好地提高海量数据存储的访问效率。 　　（3） 面向列存储。在面向列的存储系统中，数据以列为存储单位。相同列的数据存储在一起，从而支持列的动态扩展，对某一列或某几列的查询具有明显的I/O优势。典型代表有Hbase，Hypertable等。 　　2 MongoDB数据库 　　MongoDB数据库不但能够通过系统的键值对存储提高其快速写入和读取，而且能够很好地兼容传统关系型DBMS功能，它主要可以提供一种功能强大、灵活、可扩展的无结构的存储方式，该存储方式采用松散的BSON数据结构进行存储。 　　MongoDB的主要特性如下： 　　（1） 扩展性好：MongoDB数据库在设计初期，首先考虑到数据库的扩展问题，通过采用无模式的存储结构可以快速对服务器进行自动分割。采用MongoDB数据库的自动分片机制，