Hadoop大数据开发实例教程：分布式数据库——HBase技术PPT教学课件.pptx

分布式数据库——HBase技术088.1了解HBase8.2HBase的安装与配置8.3HBaseShell的基本使用8.4实训8部署并应用HBase

本模块首先对HBase进行了介绍，并在单机模式、伪分布式和完全分布式的环境下进行了HBase的安装与配置，以期在不同的场景使用，最后通过HBaseShell方式对HBase库/表进行了增、删、改、查操作。通过本模块的学习，读者将达到以下职业能力目标和要求:分布式数据库——HBase技术（1）理解HBase的数据存储方式；（2）知道HBase的使用场景；（3）掌握HBase的正确安装与配置；（4）熟练掌握常用HBaseShell的操作。目标和要求

8.1了解HBaseHBase（Hadoopdatabase）是一个基于HDFS和ZooKeeper的列式数据库，也是一个高可靠性、高性能、面向列、可伸缩的一种NoSQL分布式存储系统，专门设计用来快速随机读写大规模数据，利用HBase技术可在廉价PC服务器上搭建起大规模结构化存储集群。HBase可以作为存储海量数据的框架，同时在一些应用场景中，它也存在所谓的优势和劣势。8.1.1HBase简介（1）优势如下：①写入性能高，且几乎可以无限扩展；②海量数据(100TB级别表)下的查询依然能保持在5ms级别；③存储容量大，不需要做分库分表，维护简单；④表的列可以灵活配置，1行可以有多个非固定的列。

8.1了解HBase8.1.1HBase简介（2）劣势如下：①并不能保证100%时间可用，宕机恢复时间根据写入流量的不同为几秒到几十秒；②查询的便利性上缺少支持的SQL语句；③无索引，查询必须按照RowKey（行键）严格查询，不带RowKey的filter性能较低。

8.1了解HBase8.1.2HBase数据模型按列存储可以在文件过大时方便文件的拆分，同时也方便添加新列，格式可以多样化（传统RDBMS无法满足），查询时只要到需要的列文件内读取即可，提高了加载速度。HBase数据基本类型主要包括行键（RowKey）、列族（ColumnsFamily）、单元格（Cell）、时间戳（TimeStamp）和Hlog（WALlog），如图8-1所示。图8-1HBase数据基本类型

8.1了解HBase8.1.2HBase数据模型对数据基本类型中的每个类型进行如下说明：（1）行键（RowKey）行键是用来检索记录的主键，访问HBaseTable中的行，主要有单个RowKey进行访问、通过RowKey正则匹配和全表扫描3种访问方式。（2）列族（ColumnsFamily）HBase内的每个列都是归属于某个列族的。列族是表设计（Schema）的一部分，需要在使用前进行定义，而列不是。（3）单元格（Cell）单元格是由{rowkey,column(=family+label),version}唯一确定的单元，其内的数据是没有类型的，以字节码形式进行存储。（4）时间戳（TimeStamp）每个单元格存储一个数据的多个版本，同时通过时间戳来进行索引。时间戳是64位整数类型，可由HBase自动赋值，也可以人工赋值，不同版本的数据按照时间戳的事件倒序排序（最新的数据排在最前面）。（5）HLog（WALlog）HLog记录数据的所有变更，一旦数据修改，就可以从log中进行恢复，类似MySQL中的binlog。

8.1了解HBase8.1.3HBase使用场景HBase丰富的特性，加上自身的海量数据存储能力与超大规模并发访问能力，使得HBase的应用非常广泛，目前已经在金融、交通、医疗、车联网、IoT等众多领域有了最佳实践，涉及订单/账单存储、用户画像、时空/时序数据、对象存储、Cube分析等各个使用场景。（1）写密集型应用，每天写入量巨大，而读数量相对较小的应用，如历史订单、历史记录和游戏的日志等。（2）不需要复杂查询条件来查询数据的应用，HBase只支持基于RowKey的查询，对于HBase来说，单条记录或者小范围的查询是可以接受的，大范围的查询由于分布式的原因，可能在性能上有点影响，而对于像SQL的join等查询，HBase无法支持。（3）对性能和可靠性要求非常高的应用，由于HBase本身没有单点故障，可用性非常高。（4）数据量较大，而且增长量无法预估的应用，HBase支持在线扩展，即使在一段时间内数据量呈井喷式增长，也可以通过HBase横向扩展来满足功能要求。

8.2HBase的安装与配置由于各软件版本上存在兼容性问题，同时也考虑到后续实验的成功性，建议在进行学习期间采用本书中的软件版本进行实验。前往HBase官网/