林子雨大数据技术原理及应用第四章课后作业答案.docx

大数据技术原理与应用第四章课后作业

黎狸

试述在Hadoop体系架构中HBase与其他组成部分的相互关系。

HBase利用HadoopMapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力;Sqoop为HBase的底层数据导入功能，Pig和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。

请阐述HBase和BigTable的底层技术的对应关系。

项目

BigTable

HBase

文件存储系统

GFS

HDFS

海量数据处理

MapReduce

HadoopMapReduce

协同服务管理

Chubby

Zookeeper

请阐述HBase和传统关系数据库的区别。

主要体现在6个方面。

主要方面

关系数据库

HBase

数据类型

关系模型丰富的数据类型和存储方式

简单的数据模型数据存储为未经解释的字符串

数据操作

丰富插入删除更行查询等多表连接

不存在复杂的表与表之间的关系仅插入查询删除清空等

存储模式

基于行模式存储

基于列存储

数据索引

针对不同列构建复杂的多个索引，提高数据访问性能

索引是行键

数据维护

更行操作用最新的当前值替换记录中原来的旧值

更新操作不删除数据旧的版本

可伸缩性

难实现横向扩展，纵向扩展的空间有限

水平扩展灵活轻易的通过在集群中增加或者减少硬件数量来实现性能的伸缩

HBase有哪些类型的访问接口？

HBase提供了NativeJavaAPI,HBaseShell,ThriftGateway,RESTGateWay,Pig,Hive等访问接口。

请以实例说明HBase数据模型。

列族列限定符

列族

列限定符

Info

name

major

email

2017151826

Lili

Math

Lili@

行键2017452636

行键

Lilu

Math

Lilu@

2485623039

liulie

Math

liulie@liulie@163.com

单元格ts1ts2

单元格

ts1

ts2

该单元格有两个时间戳

该单元格有两个时间戳ts1和ts2,每个时间戳对应一个数据版本

分别解释HBase中行键、列键和时间戳的概念。

行键标识行。行键可以是任意字符串，行键保存为字节数组。

列族。HBase的基本的访问控制单元，需在表创建时就定义好。

时间戳。每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。

请举个实例来阐述HBase的概念视图和物理视图的不同。

数据概念试图

行键

时间戳

列族contents

列族anchor

“n.ww”

t1

A=”CNN”

“n.ww”

t3

Contests.html=”html…”

t4

Contests.html=”html…”

数据物理视图

行键

时间戳

列族anchor

“n.ww”

t1

A=”CNN”

行键

时间戳

列族contents

“n.ww”

t3

Contests.html=”html…”

t4

Contests.html=”html…”

试述HBase各功能组件及其作用。

库函数：链接到每个客户端；

一个Master主服务器：主服务器Master主要负责表和Region的管理工作；

③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和维护分配给自己的Region，并响应用户的读写请求

请阐述HBase的数据分区机制。

每个行区间构成一个分区，被称为“Region”,分发到不同的Region服务器上。

HBase中的分区是如何定位的？

通过构建的映射表的每个条目包含两项内容，一个是Regionde标识符，另一个是Region服务器标识，这个条目就标识Region和Region服务器之间的对应关系，从而就可以知道某个Region被保存在哪个Region服务器中。

试述HBase的三层结构中各层次的名称和作用。

层次

名称

作用

第一层

Zookeeper文件

记录了-ROOT-表的位置信息

第二层

-ROOT-表

记录了.META.表的Region位置信息-ROOT-表只能有一个Region。通过-ROOT-表，就可以访问.META.表中的数据

第三层

.META.表

记录了用户数据表的Region位置信息，.META.表可以有多个Region，保存了HBase中所有请阐述在HBase三层结构下，客户端是如何访问到数据的。

请阐述HBase的三层结构下，客户端是如何访问到数据的。

首先访问Zookeeper，获取-ROOT表的位置信息，然