#lamp人#cassandra实时统计分享 - 赵伟.pdfVIP

Cassandra实时统计分享 zhaowei@ LAMP人 主题分享交流会 www.LAMPER.cn QQ群：3330312 /lampercn Outline • 使用场景 • Cassandra简介 • 性能测试 • 实际应用 古希腊神话的杯具预言家 • Digg 的Cassandra杯具 – 工程副总裁John Quinn在Digg V4中使用Cassandra取代Mysql ， 导致上线后网站经常宕机。 – Quinn遭遇重大反对，至少遭遇了严重的短期问题，他也因此丢 掉了在Digg的工作。 – “Cassandra数据库速度更快，但或许它仌然处于实验期，也或 者是Digg正在对Cassandra数据库进行测试，总之Cassandra的 运行状况幵不能令用户满意。” CEO Kevin Rose Best used • Write more than you read (logging) • One natural niche is real time data analysis Twitter 摘自： /kevinweil/rainbird - realtime-analytics-at-twitter-strata-2011 Outline • 使用场景 • Cassandra简介 • 性能测试 • 实际应用 简介 分布式无中心 弹性可扩展 高可用与容错 可调节的一致性 面向行 高性能 CAP • CAP – Consistency – Availbility – Partition Tolerance CAP理论指出，同时只能具有这三个特性中的两个。 AP ：Cassandra、CouchDB 数据模型 Cluster Keyspace ：数据的最外层容器，类似关系型数据库 Column family ：容纳一组有序行的容器，每行包含一组有序列 Column ：最基本数据结构单元，名称、值、时钟构成的三元组 Super column ：value是一个子列的映射（一起查询的内容放一起） 五维哈希： [Keyspace][Column family][Key][Super column][Column] 架构设计 P2P ：对等结构，可用性和可扩展性 Gossip ：流言协议用于故障检测（增量），故障节点计入列表 Anti-entropy ：逆熵，副本同步机制，邻居交换Merkle树比对 Memtable、SSTable、Commit log ：数据写入Commit log则讣 为写成功， Commit log可用于数据修复。 Hinted handoff ：提示移交，提升弱一致性级别的写性能（ANY ） Bloom filter ：判断元素是否存在于集合的超快速、不确定的判断 算法，可看做查询的缓存，假阳性结果 Tombstone ：删除标记，合幵SSTable时清理 为什么写快 写优化是Cassandra的设计决策。 Memtable和Commit log的存在，写一个值不需要仸何的读或者定 位操作，所有的写都是以追加方式顺序写入的。 Outline • 使用场景 • Cassandra • 性能测试 • 实际应用 测试环境 • 硬件 – 4 node • 软件 – Cassandra v1.0.0 ，Thrift API • 数据 – Num of key space = 1, num of column family = 1, replication factor = 2 – Random Partition方式600M x 1KB记录 – Byte Ordered