大数据内存数据库与nosql数据库.docVIP

给力大数据系列之 内存数据库与NoSql数据库 Tianmj@ 传统RDBMS 关系型数据库 ?表结构(列,行 ?关联(OneToMany,ManyToOne,OneToOne ?ACID: ?原子性(Atomicity整个事务中的所有操作,要么全部完成,要么全部不完成,不可能停滞在 中间某个环节。 ?一致性(Consistency在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。 ?隔离性(Isolation两个事务的执行是互不干扰的,一个事务不可能看到其他事务运行时中 间某一时刻的数据。 ?持久性(Durability在事务完成以后,该事务所对数据库所作的更改便持久的保存在数据库之 中,并不会被回滚。 传统RDBMS表结构 ID姓名年龄特长爱好好友邻居… 1张三 2李四喜欢打麻将 3王五钓鱼 4甲 5乙 6丙 7丁 8戊 9己 10庚 缺点: ◆有限列 ◆受限于字段类型、长度 ◆空字段占用空间问题 ◆全表扫描问题 传统RDBMS表关联 ◆有限关联; ◆性能问题; ◆一系列限制; 传统关系型数据库IO面临的挑战 核心业务正在面临数据计算扩展能力的挑战 增加或减少Web 和 应用服务器数据的扩展只能依赖于移到更大处理能力的机器上Web 和应用层很容易扩展及虚拟化,节点可以灵活地增加或减少共享文件系统能够被虚拟化,按需进行增长Web 层 应用层 数据库层 存储层 负载均衡器 内存数据库 ?内存数据库,顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。 ?同时,内存数据库抛弃了磁盘数据管理的传统方式,基于全部数据都在内存中重新设计了体系结构,并且在数据缓存、快速算法、并行操作方面也进行了相应的改进,所以数据处理速度比传统数据库的数据处理速度要快很多。 (双通道DDR3-1333可以达到9300 MB/s,一般磁盘约150 MB/s, 随机访问时间更是可以纳秒级(一般磁盘约10 ms,双通道DDR3-1333可以达到0.05 ms。 ?内存数据库的最大特点是其“主拷贝”或“工作版本”常驻内存,即活动事务只与实时内存数据库的内存拷贝打交道。显然,它要求较大的内存量,但并非任何时刻整个数据库都存放在内存,即内存数据库系统还是要处理I/O NoSQL概念 ?No SQL(NoSQL = Not Only SQL,指的是非关系型的数据库。?关系型数据库中的表都是存储一些格式化的数据结构,每个元组字段的组成都一样,即使不是每个元组都需要所有的字段,但数据库会为每个元组分配所有的字段,这样的结构可以便于表与表之间进行连接等操作,但从另一个角度来说它也是关系型数据库性能瓶颈的一个因素。 ?非关系型数据库以键值对存储,它的结构不固定,每一个元组可以有不一样的字段,每个元组可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销。 NoSQL特点 它们可以处理超大量的数据。 它们运行在便宜的PC服务器集群上。 PC集群扩充起来非常方便并且成本很低,避免了“sharding”操作的复杂性和成本。 它们击碎了性能瓶颈。 通过NoSQL架构可以省去将Web或Java应用和数据转换成SQL格式的时间,执行速度变得更快。 没有过多的操作。 关系数据库提供了无可比拟的功能集合,而且在数据完整性上也发挥绝对稳定,但对于某些企业的具体需求可能不需要那么多。 NoSQL产品 ?Redis内存数据库?MongoDB文档数据库 ?Neo4j图数据库 ?Hbase列数据库 ?Hadoop分布式计算模型?GemFire商用内存数据库?timesTen Oracle商用内存数据库 Redis Redis与Memcached ?共同特征 ?都是key-value 形式的内存数据库 ?都是NoSQL家族的数据管理解决方案 ?都基于同样的key-value 数据模型 ?所有数据全部放在内存中(这也是适用于缓存的原因?性能得分不分伯仲,包括数据吞吐量和延迟等指标?都是成熟的、广受开源项目欢迎的key-value存储系统 Redis ?有硬盘存储支持的内存数据库, ?支持Master-slave复制 ?虽然采用简单数据或以键值索引的哈希表,但也支持复杂操作,例如ZREVRANGEBYSCORE。?INCR co (适合计算极限值或统计数据 ?支持sets(同时也支持union/diff/inter ?支持列表(同时也支持队列;阻塞式pop操作 ?支持哈希表(带有多个域的对象 ?支持排序sets(高得分表,适用于范围查询 ?Redis支持事务 ?支持将数据设置成过期数据(类似快速缓冲区设计 ?Pub/Sub允许用户实现消息机制 ?