《Hadoop大数据开发实战》教学教案—08HBase分布式存储系统.docxVIP

Hadoop大数据开发实战 教学设计 课程名称：Hadoop大数据开发实战 授课年级： ______ ______________ ___ 授课学期： ___ ____ ________ ________ 教师姓名： ______________ ________ 课程名称 第8章 HBase分布式存储系统 计划学时 4学时 内容分析 本章主要介绍认识HBase、HBase表设计、HBase安装、HBase Shell常用操作、HBase编程、HBase过滤器和比较器、HBase与Hive结合、HBase性能优化 教学目标 与 教学要求 要求学生掌握HBase架构及其原理、掌握HBase的存储流程、熟悉HBase的安装和利用、理解HBase与Hive之间的关系 教学重点 HBase表设计、HBase Shell常用操作、HBase编程、HBase过滤器和比较器、HBase与Hive结合、HBase性能优化 教学难点 HBase表设计、HBase Shell常用操作、HBase编程、HBase过滤器和比较器、HBase与Hive结合、HBase性能优化 教学方式 课堂讲解及ppt演示 教 学 过 程 第一课时 （认识HBase、HBase表设计、HBase安装、HBase Shell常用操作） 回顾内容，引出本课时主题 1.回顾内容，引出本课时的主题 上节学习了Hive，本节将开始认识HBase，还会有HBase表设计、HBase安装和HBase Shell常用操作的相关知识。 2.明确学习目标 能够了解HBase 能够掌握HBase的数据模型 能够掌握HBase架构 能够掌握HBase文件存储格式和存储流程 能够掌握HBase和HDFS 能够掌握HBase表设计 能够独立完成HBase安装 能够掌握HBase Shell常用操作 知识讲解 HBase简介 HBase是一个基于Hadoop的分布式、面向列的开源数据库，对大数据实现了随机定位和实时读写。 HBase是基于Google的Bigtable技术实现的，Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop的HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop的MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby进行协同服务，HBase利用Zookeeper进行协同服务。 HBase具有以下特点。 （1）读取数据实时性强：可以实现对大数据的随机访问和实时读写。 （2）存储空间大：可以存储十亿行、百万列、上千个版本的数据。 （3）具有可伸缩性：可以通过增删节点实现数据的伸缩性存储。 （4）可靠性强：HBase的RegionServer之间可以实现自动故障转移。 （5）面向列：面向列（族）的存储和权限控制，列（族）独立检索。 （6）数据类型单一：HBase中的数据都是字符串，没有类型。 HBase的数据模型 HBase是一个面向列的数据库，数据模型主要有命名空间（Namespace）、表（Table）、行键（Rowkey）、列族（Column Family）、列（Column）、时间戳（Timestamp）、单元格（Cell）。 1．命名空间 命名空间可以对表进行逻辑分组，类似于关系数据库系统中的数据库。 2．表 表由行键和列族组成，按行键的字典顺序进行排序。 3．行键 行键是每一行数据的唯一标识。可以使用任意字符串表示。行键的最大长度为64KB，实际应用中一般为10~1000 Byte。在HBase 内部，行键保存为字节数组。 4．列族 列族是列的集合，在创建表时必须要声明列族。一个列族的所有列使用相同的前缀（列族名称）。HBase所谓的列式存储就是指数据按列族进行存储，这种设计可以方便地进行数据分析。 5．列 列以键值对的形式进行存储。列的值是字节数组，没有类型和长度限定。列的格式通常为column family:qualifier。例如，name:tom列和name:jack列都是列族name的成员，:后的内容通常称为Qualifier（限定符），Qualifier可以是任意的字节数组，相同列族中的Qualify的名称是唯一的，列的数量可以达到百万级别。 6．单元格 单元格是指由行键、列族、版本唯一确定的单元。单元格中的数据全部以字节码形式存储。 7．时间戳和版本 每个单元格通常保存着同一份数据的多个版本（Version），它们用时间戳来区分。时间戳是64位的整型数据。 时间戳可以被自动赋值和显式赋值。自动赋值是指在数据写入时，HBase可以自动对时间