hbase基本原理概要.ppt

四川睿道知识产权服务有限总司 Hbase数据库基本原理 By：计算机技术——王波 Hbase介绍及特点 1 Hbase逻辑视图 2 Hbase物理模型 3 Hbase vs Oracle 4 HBase – 即Hadoop Database，是一个高可靠性、高性能、面向列、可伸 缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 Hbase是基于Google Bigtable开源实现。类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为 对应。 2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起 2008年成为Apache Hadoop的一个子项目 现已作为产品被使用 Facebook Intel Yahoo 阿里巴巴 百度 Hbase简介 Hbase简介 Hbase在Hadoop 体系中的位置 Hbase特点 海量存储的关键技术 1、数据划分 2、数据一致性与可用性：为了保证高效系统响应而弱化一致性模型，同时采用异步复制手段用以确保数据可用 3、负载均衡：数据底层存储运用分布式文件系统，以一种巧妙方式避免数据均衡问题 4、容错机制： 哈希映射：存取效率主要取决于哈希效率 顺序分裂：渐进式，主节点（Master）控制 失效侦测：心跳机制 失效恢复：Hlog，快照 Hbase特点 Hbase表特点： 大表：一个表可以有上亿行，上百万列 面向列：面向列族的存储，列族独立检索 稀疏：对于空（null）的列，不占用存储空间 …… 分布式数据库Hbase 特点: 基于列式的高效存储 强一致的数据访问 高可靠 高性能 可伸缩，自动切分、迁移 Schema free Hbase逻辑视图 章节导读 1.表存储结构 2.Row key 3.Columns family 4.Time Stamp 5.Cell 逻辑视图 2.1 表存储结构 行键 列 列 HBase以表的形式存储数据；表有行和列组成；列划分为若干个列族(row family) 2.2 Row key 逻辑视图 Row Key ： 与nosql数据库们一样,row key是用来检索记录的主键。 访问hbase table中的行，只有三种方式：  1、通过单个row key访问 2、通过row key的range  3、全表扫描 Row key行键 (Row key)可以是任意字符串(最大长度 是 64KB，实际应用 中长度一般为 10-100bytes)，在 hbase内部，row key保存为字节数组。 存储时，数据按照Row key的字典序(byte order)排序存储。 设计key时，要充分利用排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性) 2.3 Columns family 逻辑视图 列簇 hbase表中的每个列，都归属与某个列族。 列族是表的schema的一部 分(而列不是)，必须在使用表之前定义。 列名都以列族作为前缀。 例如 courses:history，courses:math都属于courses 这个列族。 访问控制、磁盘和内存的使用统计都是在列族层面进行的。 实际应用中,列族上的控制权限能帮助我们管理不同类型的应用：我们允许一 些应用可以添加新的基本数 据、一些应用可以读取基本数据并创建继 承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不 能浏览所有数据）。 2.4 Time Stamp 逻辑视图 时间戳 HBase 中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒 的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版 本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据 按照时间倒序排序，即最新的数据排在最前面。 为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供 了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段 时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。 2.5 Cell 逻辑视图 由{r