Cassandra关键技术详解.pdfVIP

Cassandra 关键技术详解 1. NoSQL 运动与Cassandra 系统 所谓键值存储就是用一个键来表达事物的属性，而用一个值来表达这个特征 （属性）的取值。键值数据广泛存在于社交网络、工业大数据等应用当中。键值 存储的代表是Facebook 基于谷歌和亚马逊技术开发的Cassandra 系统。 键值存储是一类非常重要的大数据存储系统，主要管理模式动态变化的、弱 结构化数据键值存储系统，起源于2010 年前后的NoSQL 运动。 1.1 NoSQL 运动 NoSQL 一词最早出现于1998 年是意大利学者Carlo Strozzi 开发的一个轻量 开源，但不支持SQL 语言的关系数据库。 2009 年 6 月，在哥伦比亚广播集团旗下的互动媒体公司世界上最大的社会 音乐平台Lastfm 的技术总监Jon Oskarsson 组织了首次NoSQL 的研讨会，这次 会议上Rackspace 的Eric Evans 再次提出了NoSQL 的概念，这次只有一天时间 的技术分享会成为引爆NoSQL 运动的标志性事件。 如果说 1998 年的NoSQL 项目仅仅是否定了 SQL 语言，而本次NoSQL 运 动的发展则围绕着三个否定，即否定关系模型、否定ACID 事务、否定SQL 语 言，其核心是否定关系模型。因此，对NoSQL 最普遍的解释是非关系型的， 强调Key-Value 存储和文档数据库的优点，而不是单纯的反对RDBMS 。 大数据促进了NoSQL 的迅速繁荣，出现了大量的技术多样的NoSQL 系统， 这些 NoSQL 系统主要可以分为三大类：即文档系统 （MongoDB ）、键值系统 （Cassandra、Hbase ）和图系统 （Neo4J ）。 1.2 Cassandra NoSQL 数据库简介 本文主要介绍键值存储的代表Cassandra 系统，Apache Cassandra 是一套2008 年开源的分布式NoSQL 数据库系统，由就职于脸谱公司的两位工程师开发。 Cassandra 的技术主要来源于两个方法，一个是谷歌的Bigtable ，也就是我们 常说的大表，作为Cassandra 的数据模型；另一个是Amazon 中的DynamoDB ， 主要借鉴了它的P2P 架构。 Cassandra 开源后围绕这个系统的推广服务与增值开发。2010 年 Jonathan Ellis 和Matt Pfeil ，创立了DATASTAX 公司，根据Cassandra2015 年7 月的官方 数据，目前Cassandra 拥有包括苹果、ebay、 Hulu 在内的 1500 家企业用户。它 最大的应用在苹果公司，管理了75000 个节点，规模为 10 个TB，Cassandra 的 技术来源决定了它所拥有的技术特点：即无单点故障、高可用和可配置的灵活的 一致性，它适合的应用场合包括时间序列数据 物联网数据、社交媒体数据等等。 2. Cassandra 数据模型、接口和访问语言 2.1 Cassandra 数据模型 （逻辑模型） Cassandra 的数据模型借鉴了谷歌Bigtable 的设计，包括四个概念： （1）键空间即KeySpace 相当于关系数据模型当中的数据库，是最上层的命 名空间； （2 ）列族ColumnFamily，相当于关系数据库中的表，但它比表更稀疏； （3）行Row 表示一个数据对象，存在于ColumnFamily 当中； （4 ）列Column 相当于属性，是存储的基本单元 Cassandra 的主要概念之间的包含关系如图所示，其中： （1）KeySpace 中的settings，主要设置副本数量Hash 策略等； （2 ）ColumnFamily 中的settings 主要设置key 缓存、读修复的概率、列的排序 方式等属性； （3 ）Column 是 Cassandra 存储的基本单元，它是一个三元组(name, value,timestamp) 。一般情况下它不支持基于列值的查询。而在 1.1 版以后， Cassandra 对它的Column 扩展了一个新的属性即TTL （存活时间）。 Cassandra 中的行由很多列组成