键值对数据库综述.docxVIP

键值对数据库综述与典型KV数据库介绍

一、键值数据库概述

键值数据库是一种非关系数据库，它使用简单的键值方法来存储数据。键值数据库将数据存储为键值对集合，其中键作为唯一标识符。键和值都可以是从简单对象到复杂复合对象的任何内容。键值数据库是高度可分区的，并且允许以其他类型的数据库无法实现的规模进行水平扩展。

Key-Value键值对数据模型实际上是一个映射，即key是查找每条数据地址的唯一关键字，value是该数据实际存储的内容。例如键值对：（,“张三”），其key：是该数据的唯一入口，而value：“张三”是该数据实际存储的内容.Key-Value数据模型典型的是采用哈希函数实现关键字到值的映射,查询时，基于key的hash值直接定位到数据所在的点，实现快速查询,并支持大数据量和高并发查询。

二、基本原理

从API的角度来看，键值数据库是最简单的NoSQL数据库。客户端可以根据键查询值，设置键所对应的值，或从数据库中删除键。“值”只是数据库存储的一块数据而已，它并不关心也无需知道其中的内容；应用程序负责理解所存数据的含义。由于键值数据库总是通过主键访问，所以它们一般性能较高，且易于扩展。基本上所有的编程语言都带有应用在内存中的键值对存储。C++STL的映射容器（mapcontainer）和Java的HashMap以及Python的字典类型都是键值对存储。键值对存储通常都有如下接口：

Get(key):获取之前存储于某标示符“key”之下的一些数据，或者“key”下没有数据时报错。

Set(key,value):将“value”存储到存储空间中某标示符“key”下，使得我们可以通过调用相同的“key”来访问它。如果“key”下已经有了一些数据，旧的数据将被替换。

Delete(key):删除存储在“key”下的数据。

三、基本特性

键值数据库具有以下几个特性：

容错性

可扩展性

有效性

四、读写方式

分析已有key-value数据库,其读写方式可分为面向磁盘的读写方式和面向内存的读写方式两种.后者适合于不要求存储海量的数据但需要对特定的数据进行高速并发访问的场景.采用哪一种读写方式,通常由数据量的大小和对访问速度的要求决定的。

1)面向磁盘的读写方式

通常情况下,NoSQL系统中都存储着海量的数据,且无法全部维持在内存中,所以一般都采用面向磁盘的读写方式,下图描述了NoSQL系统中采用的典型的面向磁盘读写的一般过程。

图4-1面向磁盘的读写过程

通常,当写入数据时,数据首先会被写到一个内存结构中,系统返回写入成功.当内存中的数据达到指定大小或存放超过指定时限时,会被批量写入磁盘.当需要读取数据时,首先访问内存结构,如果未命中则需要访问磁盘上的实例化文件.当系统发生意外宕机时,内存结构中的数据将丢失,因此,一般采用日志的方式来帮助进行数据恢复.为了进一步提高写入效率和并发能力,许多系统都采用了Append的方式,即将修改和删除操作都追加写到文件末尾,而读数据时利用时间戳过滤掉旧信息,返回给用户最新版本的数据.因此,数据库需要进行定期的数据合并,将过期的冗余数据删除。

2）面向内存的读写方式

内存数据库将所有数据存放在内存中。每次访问记录时，无需将数据从磁盘读到内存中，避免了磁盘操作造成的延迟。在几十年前，由于内存容量的限制，在数据库中，内存只能充当磁盘的缓存。但随着存储技术的迅猛发展，单台机器的内存容量不断增长。目前，高端的服务器已经能提供几太字节的内存容量。这使得将所有数据存在内存中成为可能。磁盘读写操作不再是性能瓶颈后，数据库系统由IO受限（IO-bound）转向CPU受限（CPU-bound）。

图6-1Memcached的基本原理

Memcached作为高速运行的分布式缓存服务器，具有以下的特点。

协议简单

基于libevent的事件处理

内置内存存储方式

memcached不互相通信的分布式

许多语言都实现了连接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出的有：Perl、PHP、Python、Ruby、C#、C/C++、Lua等等。除此之外，Memcached用户十分广泛，如LiveJournal、Wikipedia、Flickr、Bebo、Twitter、Typepad、Yellowbot、Youtube、WordP等等。

（三）LevelDB简介

LevelDB是google实现后现已开源的高效持久化的KV数据库，对于随机写有着对于随机写有着良好的性能，适用于查询少、写入多的系统。在billion数量级下LevelDBLevelDB仍保持着高速的响应，这主要由于它采用了LSM算