Cassandra简介课件.pptVIP

Cassandra简介 Jametong@b2bdba 童家旺 A highly scalable, eventually consistent, distributed, structured key-value store. 议题介绍 背景 基本前提 Scalability 基本的Storage Model CAP 公理简介 Cassandra使用案例 Cassandra设计 它山之石 Consistency Models(Eventual Consistency) Consistent Hashing Data Models Storage Model (SSTable MemTable) 故障检测 Gossip 通讯 Cassandra的设计背景 Scale Up不可接受 满足海量数据存储需求 海量数据,主要是用户的信息与用户消息(类似于我们的反馈) 大量随机的读写 没有现成的解决方案,或者说现成的解决方案无法解决(4000个节点的Memcached) 很多应用并不是很依赖于关系模型了 Cassandra的设计目标 高可用性 最终一致性 经过权衡,在强一致性与高可用性之间选择了高可用性 动态可伸缩 乐观复制 可以动态调整一致性/持久性与延时 节点管理要保持低开销 最小化管理开销 Scalability 当我们增加一个系统中的资源，并能获取与增加的资源保持适当的比例关系的性能提升，我们就认为这个服务具备了伸缩性。 资源投入与输出保持线性关系 为促进冗余投入的资源不会带来性能损失 能够处理异构资源 能做到运维高效 具备自修复能力 scalability is a function that represents the relationship between workload and throughput Scalability[2] Scale Out Vs Scale Up Scale Up-在同一个逻辑单元内增加资源,例如增加CPU/内存/网卡数量等. Scale Out-增加多个逻辑单元的资源,并使它们如同一个集中的资源那样提供服务(集群/分布式/负载均衡等) Scale Up较为简单,但是规模有限,代价越来越大 Scale Out需要从架构层面设计,规模没有限制,代价由架构决定. 基本的存储模型 行存储 Vs 列存储 Vs 混合存储 行存储适合查找整行的存储,不过需要配合索引 列存储适合查找少量列,适合做基于列的统计/查询 混合列存储. 将需要经常组合查询的列组合在一起. 将其他列(列的组合)单独存储. 基本的存储模型[2] CAP Theorem Consistency the system provides a view of the distributed state which is consistent between observers 所有的用户都可以看到一致的系统状态 Availability The system as a whole should continue functioning , even if servers should fail or be unreachable due to network failures 无论何时,哪怕出现硬件故障,数据中心故障,系统也可提供服务,哪怕是降级的服务 Partition Tolerance The system as a whole should continue to function, potentially with degradations in service, even if the network can fail in arbitrary ways. 哪怕在网络出现分割的情况下,各个独立的子系统都可以继续提供服务 Can Only Choose Two From Above Three CAP Theorem[2] BASE Basic Availability Soft state Eventual Consistency ACID Atomic Consistency Isolation Durability CAP Theorem[3] /visual-guide-to-nosql-systems Cassandra使用案例 Cassandra使用案例[2] user site application others evaluated Jonathan Ellis-3 Rackspace stats collection (testing, almost production),Mail Apps division (early testing) HBase, Hypertable, dynomite,a