Hbase原理简述研讨.pptxVIP

第1章 Hbase原理 本章目标 概述 Hbase的特点 数据模型 API 系统组成 数据组织及存储方式 主要操作 错误恢复 2 什么是Hbase Hbase是一个分布式的面向列的开源数据库 Google BigTable的山寨产品 2006年由Powerset的Chad Walters和Jim Kellerman发起 2007年成为Hadoop的子项目 2008年跟随Hadoop被Apache收编 2010年成为Apache的top level项目 目前应用的公司有 Facebook twitter yahoo！ Trend 淘宝 百度 搜狗 小米 3 Hbase的特点 Key-Value类型的DB 仅适合对单一key的增删改查，以及扫库操作 数据按照key的字典顺序存储 列式存储 Schema限制很少，可以自由的添加字段 对半结构化数据非常有用 线性扩展 容量和处理能力随集群数量成线性增长 可以处理上Pb级的数据 高可靠性 设计运行在廉价PC上，无单点问题 强一致性 4 行：同一个key对应的所有数据，行数量不设上限 列族： 相似的列数据通常被划分为一个列族 数量有限，建表时指定 列：列名在写入时决定，数量不限 Cell及时间戳（版本）： 每个Cell都可以有任意多个版本 建表时指定每个列族可以保留多少个版本 5 表 类似于传统的DBMS的表 按照key值的字典序存储 数据被组织到若干的region中 Region Region是负载均衡调度的最小单位 Region内部的行都是有序的 6 Hbase的API Put/Get 针对某个key进行操作 可以单独写入某个column Scan 顺序扫描 Mapreduce 并发扫库 Bulk Load 一种大批量导入大批数据的方法 Replication 使用Journal（Hlog）实现数据备份 7 三大组件：Master、RegionServer、Zookeeper 8 Hbase部署 9 模块分工 ZooKeeper 分布式锁，提供分布式环境下多机协调功能 服务器状态检测（容错管理） 定位ROOT Region（根region） Master 负载均衡 错误恢复 Meta（元）数据的事务控制 RegionServer 读写数据 Split（拆分） 10 数据组织 三级表结构 Root表最多只有一个Region，纪录Meta表每个region的位置 Meta表可能包含多个region，meta表记录各个表每个region所在的服务器 Client端会缓存Meta表的数据，直到错误发生时才更新 11 数据存储 系数矩阵-列式存储 基于HDFS 不可更改的文件系统上实现可随机更新的DB 基于廉价硬件 随时有可能发生服务器故障 支持较高的写入速度 强一致性 LSM树：Log-structured Merge-Tree 12 数据存储 传统数据库 B+树 13 数据存储 LSM 14 Hbase的数据存储单元 稀疏结构的数据实际上是按照 {row key+column+qualifier+version} 顺序密集存储的原子数据 每行数据由若干条原子数据组成 15 Region Server透视图 16 底层文件结构 Hfile 基于Block存储数据 Block索引常驻内存 默认BlockSize=64k 17 谢谢