[第9讲分布式开源数据库HBASE.pptVIP

Hadoop家族 ?Pig ?Zookeeper ?Hbase ?Hive ?Sqoop ?Avro ?Chukwa ?Cassandra pig ?Hadoop客户端 ?使用类似于SQL的面向数据流的语言Pig Latin ?Pig Latin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数 ?Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行，减少用户编写Java程序的苦恼 ?三种运行方式：Grunt shell，脚本方式，嵌入式 Hive ?数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表 ?支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务，几乎SQL的其它特征都能支持 ?可以看成是从SQL到Map-Reduce的映射器 ?提供shell、JDBC/ODBC、Thrift、Web等接口 Hbase ?Google Bigtable的开源实现 ?列式数据库 ?可集群化 ?可以使用shell、web、api等多种方式访问 ?适合高读写（insert）的场景 ?HQL查询语言 ?NoSQL的典型代表产品 Hbase简介 ?HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。 ?就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。 ?HBase是Apache的Hadoop 项目的子项目。 ?HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式 Hbase的数据管理 Hbase是一个分布式的、面向列的开源数据库。不同于一般的关系数据库，是一个适合于非结构化数据存储的数据库。 Hbase是基于列的而不是基于行的模式。 Hbase是一个稀疏的、长期存储的、多维度的排序映射表，在这张表中包括了行关键字、列关键字和时间戳。每个值是一个字符数组，数据都是字符串，没有类型。 Hbase中表的特点： 大：一个表可以有上亿行、上百万列 面向列：面向列（族）的存储和权限控制，列（族）独立检索。 稀疏：对于为空的列，并不占用存储空间。 Big Table的想法 ?学生表的例子S(s#,sn,sd,sa) ?存放为关系的学生表 ?以bigtable方式存放学生表 ?Bigtable: 无所不包的大表 Hbase逻辑模型 以表的形式存放数据 表由行与列组成，每个列属于某个列族，由行和列确定的存储单元称为元素 每个元素保存了同一份数据的多个版本，由时间戳来标识区分 行键 行键是数据行在表里的唯一标识，并作为检索记录的主键 访问表里的行只有三种方式 1 通过单个行键访问 2 给定行键的范围访问 3 全表扫描 行键可以是最大长度不超过64KB的任意字符串，并按照字典序存储 对于经常要一起读取的行，要对行键值精心设计，以便它们能放在一起存储 列族与列 列表示为列族:限定符 Hbase在磁盘上按照列族存储数据，这种列式数据库的设计非常适合于数据分析的情形 列族里的元素最好具有相同的读写方式（例如等长的字符串），以提高性能 时间戳 对应每次数据操作的时间，可由系统自动生成，也可以由用户显式的赋值 Hbase支持两种数据版本回收方式：1 每个数据单元，只存储指定个数的最新版本 2 保存指定时间长度的版本（例如7天） 常见的客户端时间查询：“某个时刻起的最新数据”或“给我全部版本的数据” 元素由 行键，列族:限定符，时间戳唯一决定 元素以字节码形式存放，没有类型之分 Hbase物理模型 Hmaster主服务器 HBase每时每刻只有一个Hmaster主服务器程序在运行，只维护表和region的元数据。作用： 为Region server分配 Region 负责Region server的负载均衡 发现失效的Region server并重新分配其上的Region GFS上的垃圾文件回收 处理schema更新请求 Region和Region服务器 表在行方向上，按照行键范围划分成若干的Region 每个表最初只有一个region，当记录数增加到超过某个阈值时，开始分裂成两个regio Region是HBase中分布式存储和负载均衡的最小单元。 物理上所有数据存放在HDFS，由Region服务器提供region的管理 一台物