Cassandra在饿了么的应用.PDFVIP

Cassandra在饿了么的应用 主讲人：翟玉勇 时间：2017.06.11 概述 1.Cassandra的基本原理介绍 2.为什么选择Cassandra 3.饿了么Cassandra实践 4.大数据离线平台和Cassandra的整合 Cassandra历史 BigTable Dynamo Cassandra概述 Cassandra最初源自FaceBook，集合了Google BigTable面向列的特 性和Amazon Dynamo分布式哈希(DHT)的P2P特性于一身，具有很高 的性能、可扩展性、容错、部署简单等特点。 Cassandra架构关键字 1.Gossip 点对点通信协议，用于集群之间节点交换位置和状态信息 2.Partitioner 决定如何在集群中的节点间分发数据，也就是哪个节点放止数据的第一个replica 3.Replica Strategy 决定在哪些节点放置数据的其他replica 4.Snitch 定义了复制策略用来放置replicas和路由请求所使用的拓扑信息 Gossip-节点的通信 Cassandra使用点对点通信协议Gossip在集群中的节点间交换位置和状态信息。Gossip进程 每秒运行一次，与最多3个其他节点交换信息，这样所有的节点可很快的了解集群中其他节点 信息。 1.种子节点 2.Cassandra故障探测 3.Cassandra故障恢复 Partitioner Partitioner定义了数据如何在集群中的节点分布，哪个节点应该存放数据的第一份拷贝。 基本上，Partitioner就是一个计算分区键token的哈希函数。 1.Partition Key 决定数据在Cassandra哪个节点上 2.Clustering Key 用于在各个分区内的排序 3.Primary Key 主键，决定数据行的唯一性 Partitioner 1.Key_part_one，key_part_two共同构成了primary key 2.key_part_one也就是partition key 3.key_part_two就是cluster key Cassandra如何根据partition key决定数据落在哪个节点？ 一致性哈希和虚拟节点 一致性哈希和虚拟节点 Replica Strategy Cassandra在多个节点中存放replicas以保证可靠性和容错性。Replica Strategy决定放置replicas的 节点，replicas的数目由复制因子确定，比如通常设置3表示每行数据有三份拷贝，每份数据存储在不同的 节点。 当前可用的两种复制策略： 1.SimpleStrategy 仅用于但数据中心 CREATE KEYSPACE dw WITH replication = {class: SimpleStrategy, ‘replication_factor : 3} 2.NetworkTopologyStrategy 用于多IDC场景，可指定每个IDC有多少replicas CREATE KEYSPACE dw WITH replication = {class: NetworkTopologyStrategy, DC-SH : 2, DC-BG : 2} Cassandra主要的数据结构 1.Memtable 跳表 2.SSTable 3.Bloom filter SSTable Data 真正的数据 Filter bloom filter Index 索引文件，保存key和data数据位置的映射关系 Summary index采样数据 Statistics 存放data 中columns和row个数信息 CompressionInfo 存放compression信息 CQL语言 1.Cql类似于SQL 2.DDL操作create table，drop table等等 3.支持DML操作INSERT、UPDATE、DELETE等等 4.查询数据通过select Client请求-写请求 Cassandra写路径 Client请求-读请求 Cassandra读路径 Cas