Hadoop开发案例第8章 Hadoop数据库Hbase.pptxVIP

引言 Hbase是一个分布式的，面向列的开源数据库，可以称为Hadoop的标准数据库，也是一款比较流行的NoSQL数据库，由Google发表的论文Bigtable经过演变而来，HBASE在Hadoop之上提供了类似Bigtable的能力，主要解决非关系型数据存储问题。本章通过对Hbase的概述、Hbase的架构、Hbase Shell命令、Hbase API操作的讲解，让学生深刻理解和运用Hbase系统。Hbase简介（1）Hbase是一个可分布，可扩展的大数据存储的Hadoop数据库。适用于随机，实时读写大数据操作时使用。它的目标就是拥有一张大表，支持亿行亿列。Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。（2）Hbase是一个分布式的、面向列的开源数据库,源于Google的一篇论文/papers/bigtable.html《/papers/bigtable.htmlbigtable/papers/bigtable.html：一个结构化数据的分布式存储系统》。Hbase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。（3）Hbase– Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hbase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理Hbase中的海量数据，利用Zookeeper作为协调工具。（4）Hbase表的数据可以存储在本地，也可以存储在HDFS之上。Hbase优势Hbase的优势：成熟：社区成熟，支持工具丰富高效：适应高并发写入分布式：基于HDFS，易扩展Hbase特点Hbase的特点：一个大表，亿行万列。面向列：面向列族存储和权限访问，列和列族都是独立索引。对于为null的列是不占用存储空间，所以表的设计很稀疏。数据类型单一，都是字符串类型。同一行可以有截然不同的列。介于关系型和非关系型数据库之间，实现非结构化和半结构化的数据存储 Hbase专业术语1.Row KeyRow key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在Hbase内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。2.单元?CellHbase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column, version} 唯一确定的单元。cell中的数据是没有类型的，全部是以字节码存贮。 在写入数据的时候，时间戳是有系统时间自动赋值，精确到毫秒，也可以显示的赋值。在一个cell中同一数据的不同版本的顺序是按照时间的倒序排序的。Hbse专业术语3.列族列族是在创建表时声明，一个列族可以包含多个列，列中的数据都是以二进制形式存在的，没有数据类型。列族是由多个列而形成的集合。一个列族中的所有的列成员有着相同的前缀。比如：course：math，冒号是列族名和列名的分隔符。4.时间戳Hbase中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是64位整型。时间戳可以由Hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。Hbase架构 Hbase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode， Hbase架构角色1.Client包含访问Hbase 的接口，client 维护着一些cache 来加快对Hbase 的访问，比如Region的位置信息2.Zookeeper保证任何时候，集群中只有一个running master存贮所有Region 的寻址入口实时监控Region Server 的状态，将Region server 的上线和下线信息，实时通知给Master存储Hbase 的schema,包括有哪些table，每个table 有哪些column family角色3.Master 可以启动多个HMaster通过Zookeeper的Mast