hbase区域拆分apionsapreduce maptask-part02高级编程.pdfVIP

1.HBase整合Hive

1.1.原理

Hive与HBase利用两者本身对外的API来实现整合，主要是靠HBaseStorageHandlerageHandler进行通信，利进行通信，利

用HBaseStorageHandler，Hive可以获取到Hive表对应的HBase表名，列簇以及列，InputFormat和

表名，列簇以及列，InputFormat

OutputFormat类，创建和删除HBase表等。

HiveHBase中表数据，实质上是通过MapReduceHBase表数据，其实现是在MapReduce

HBase表数据，其实现是在MapReduce

中，使用HiveHBaseTableInputFormat完成对HBase表的切分，获取RecordReader对象来数

表的切分，获取RecordReader对象来数

据。

对HBase表的切分原则是一个Region切分成一个Split，表有多少个Region，MapReduce中

Split，即表中有多少个Regions，MapReduce中就

有多少个MapTask。

HBase表数据都是通过构建Scanner，对表进行全表扫描，如果有过滤条件，则转化为Filter。当

，对表进行全表扫描，如果有过滤条件，则转化为Filter。当

过滤条件为RowKey时，则转化为对RowKey的过滤，Scanner通过RPC用RegionServer的

RowKey的过滤，Scanner通过RPC调用RegionServer的

next()来获取数据。

1.2.准备HBaseHBase表和数据表和数据

创建HBase表：

createmingxingmingxing,,{{NAMENAMEbabasee_in_info,VERSIONS1},{NAME

ext

tra_info,VERSIONS1}

准备数据：准备数据：

putputmingxinmingxing,,rk001rk001,,baase_inse_infoo::name,huangbo

putmingxing,rk001,base_info:age,33

putmingxing,rk001,extra_info:math,44

putmingxing,rk001,extra_info:province,beijing

xuzheng

putmingxing,rk002,base_info:name,xu

44

putmingxing,rk002,base_info:age,4

me,wangbaoqiang

putmingxing,rk003,base_info:name

age,55

putmingxing,rk003,base_info:a

putmingxing,rk003,base_info