NoSQL-大数据、大并发下的key-value数据库[整理]（非常不错）.docxVIP

NoSQL-大数据、大并发下的key-value数据库[整理]29 二月 2012, 6:48 下午随着NoSQL的理念越来越火，我总结一下在大数据、大并发下数据快速响应的知识，今天先开个篇，希望自己能够慢慢形成系列。这方面做的比较早的是Memcached.AnatolyVorobey和Brad Fitzpatrick为了提升LiveJ访问速度,开发了Memcached。随着他的开源，越来越多的公司开始采用他来部署实时数据应用。2007年后，互联网的数据越来越庞大，传统的数据库模式已经无法满足大量数据的实时访问问题，而随着内存的价格越来越便宜，人们开始倾向于用内存来存储一些访问度比较高的数据。以取得更大的访问速度。Memcached的出现，也使得key-value数据库的发展快速起来。下面的各种key-value数据库，本文不做时间上的比较。1 Google的LevelDBGoogle宣布将LevelDB开源，并且遵守New BSD许可证。LevelDB是一个嵌入式的key-value数据库。它的键和关联值可以是任意的字节数组，并且按照键值排序，排序机制是可以被重载的。数据存储机制非常简单，仅仅支持Put，Get和Delete命令，然后还有前向和后向迭代遍历。数据会自动使用Snappy压缩，这是一个压缩库，Google将其用于BigTable，MapReduce和RPC中，并且在四月份宣布开源。LevelDB也有一些局限：不支持SQL查询和索引，支持多线程单进程访问，并且可以用于嵌入式设备，这将使某些项目收益，但是也会给其他的项目来带麻烦。LevelDB优化了批量写操作。它将多个修改请求有序缓存在内存中，在累计到配置文件预设置的阈值之后再写入到磁盘中。对于顺序和随机写操作，以及顺序读操作来说，它的性能非常优秀，根据Google的性能基准测试，它能在某些测试项目中得分领先SQLite两个数量级。SQLite在随机读操作中比LevelDB稍好，而在写入较大数据的时候速度两倍快于LevelDB。LevelDB同样也表现得比Kyoto Cabinet优秀，Kyoto Cabinet也是一个key-value数据库，不过Google并没有像SQLite那样在所有测试项目中均进行比较。同样，Riak进行了一些测试对比LevelDB和InnoDB，在一些测试项目中，Google的LevelDB要比InnoDB要优秀或者能达到相同性能。LevelDB是使用C++编写，一些外部的依赖库已经成功地移植到Windows、Mac OS X、Android和各种Unix上。在实际的应用中，Chrome的一些实验性版本中已经使用了LevelDB，将其作为IndexDB API的实现。而Riak则将其用于节点级的存储。不仅如此，一家开发3D地图软件的公司UpNext也使用了这套系统。2 MongoMongoDB是一种文件导向数据库，由C++撰写而成，以此来解决应用程序开发社区中的大量现实问题。2007年10月，MongoDB由10gen团队所发展。2009年2月首度推出。它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：*面向集合存储，易存储对象类型的数据。*模式自由。*支持动态查询。*支持完全索引，包含内部对象。*支持查询。*支持复制和故障恢复。*使用高效的二进制数据存储，包括大型对象（如视频等）。*自动处理碎片，以支持云计算层次的扩展性。*支持RUBY，PYTHON，JAVA，C++，PHP,C#等多种语言。*文件存储格式为BSON（一种JSON的扩展）。*可通过网络访问。Mongo是一个高性能，开源，模式自由(schema-free)的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值(key-value)存储方式。Mongo使用C++开发，具有以下特性：面向集合的存储：适合存储对象及JSON形式的数据。动态查询：Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。完整的索引支持：包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式，并生成一个高效的查询计划。查询监视：Mongo包含一个监视工具用于分析数据库操作的性能。复制及自动故障转移：Mongo数据库支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）。自动分片以支持云级别的伸缩性（处于早期alpha阶段）：自动分片功能支持水平的数据库集群，可动态添加额外的机器。模式自由（schema-free)，意味着对于存储在mongodb数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以