nosql探索之一.pptVIP

CC视频 NOSQL探索 （一） CPSA 姚世杰 NOSQL是什么 是一种存储数据的方式上，和关系型数据完全不同 的思路。 NOT ONLY SQL CC视频 应用层的逻辑复杂度 数据模型的灵活性 数据量的增长 容错和自动故障迁移 诞生背景 传统关系型数据库 读写性能瓶颈 高度结构化的数据和严格的关系定义 事务性 关联查询 CC视频 诞生 BigTable 2006年 Google 数据范围分布 Dynamo 2007年 Amazon 数据hash分布 CC视频 开始之前 数据模型 关系模型 键值模型 图结构模型 两个概念 操作模型 SQL 键值查询 mapreduce nosql通常是多种数据模型和操作模型结合的架构方式 CC视频 如何去考察一个NOSQL 一致性 可靠性 事务机制 扩展性 单机性能 分区策略 负载评估 CC视频 键值模型 不提供对某特定属性值来进行操作。 通常它只提供像set、get和delete这样的操作。 最简单的NOSQL存储方式。每个key值对应一个任意的数据值。 Dynamo BDB CC视频 Key –value 存储 键值模型 除了set、get和delete之外，还提供了其他的操作，比如数字 的递增递减，list的push / pop等。并且，这些操作并没有明显的性能下降。 Value的类型包括数字、字符串、列表、集合以及有序集合。 Redis CC视频 Key –结构化数据 存储 键值模型 文档可以存储列表，键值对以及层次结构复杂的文档。 转换成JSON或者类似于JSON的结构进行存储。 CouchDB MongoDB CC视频 Key –文档 存储 键值模型 高效的松散列数据存储 每一行数据被存在不同的列中，另外加上时间戳 BigTable Hbase Cassandra CC视频 列簇式 存储 Cassandra里还有超级列簇的概念 键值模型 应用层容错要求更高 数据存储上更加灵活、方便，没有修改表结构的代价 多次迭代容易让数据结构混乱 CC视频 共同点：shcema-free的存储 写性能 B+ Tree vs LSM - Tree CC视频 Mysql innodb 表结构定义文件 .frm 表空间文件 ibdata1 两 个参数： innodb_data_file_path 可以指定ibdata1为多个文件 innodb_file_per_table 设为true可以每个表单独的.ibd 写入缓冲 CC视频 B+ Tree Mysql, sql server, oracle ; couchDB 随机写： 解决方式：SSD 应用层解决方案 写性能 B+ Tree vs LSM - Tree 1. 找到数据所在page 2. 读取内容到内存 3. 更新内容 4. Flush回磁盘 两次I/O，效率低 CC视频 LSM-Tree 将写结果直接写入内存 memtable，一定周期合并到磁盘 读的时候相对耗时 在这种结构下，所有的写都是顺序写 写性能 B+ Tree vs LSM - Tree Merge算法是怎样的？？ 随机写： 数据可靠性 CC视频 理想状态是，数据库会把所有写操作立刻写到持久化存储的设备，同时复制多个副本到不同地理位置的不同节点上以防止数据丢失。 磁盘IO会成为系统的瓶颈，这是不可接受的。 数据可靠性 CC视频 单机 内存缓存 Memcached 自由配置fsync的调用频率 Redis LSM-Tree Append-only-B-Tree CouchDB Group commit cassandra , HDFS 数据可靠性 CC视频 多机 主从同步 Redis （指向同步 CouchDB） Replica sets MongoDB HDFS 多节点写 HBase 更灵活的可配置策略 Riak Cassandra Voldemort N W（N：数据备份数量；W：写到W台服务器则返回写成功） 事务机制 CC视频 传统事务机制 ACID NOSQL事务机制 —— 行级别的原子性 行级别的原子性在大部分场合够用，带来的性能提升是非常可观的。但是，在那些对事务要求比较高的系统中，需要多考虑容错修正机制。 Redis Multi 可以对多个命令进行组合事务 数据分片技术 CC视频 数据分片