hive和hbase整合经验谈.pdf

Hive与HBase整合经验谈 @ 史东杰 趣游 QQ: Hive与HBase整合经验谈 1 1 11 Hive与hbase整合的原理 2 2 22 Hive与hbase整合后的使用场景 3 3 33 Hive与hbase整合后的使用方法 4 4 44 应用中的一些经验分享 Hive与hbase整合的原理 � Hive与hbase的结构 � Hive与hbase整合后的结构图 � Hive与hbase整合的原理 Hive的结构 hbase的结构 Hive与hbase整合后的结构图 Hive与hbase整合的原理 Hive与HBase的整合功能的实现是利用两者本身对外 API hive- 的 接口互相进行通信，相互通信主要是依靠 hbase-handler.jar工具类 (Hive Storage Handlers) Hive与hbase整合后的使用场景 场景一： Hbase Source Hive INSERT Files/Ta Hbase … SELECT … bles Hbase Hive与hbase整合后的使用场景 场景二： Hbase Hbase Hbase Hive SELECT … Query JOIN … Result GROUP BY … Other Files/T ables Hive与hbase整合后的使用场景 场景三： Hbase Continuous Update Hbase Hbase Hive Queries Other Periodic Load Files/T ables Hive与hbase整合后的使用方法 整合后Hive的启动方法 单节点启动 hive -hiveconf hbase.master=master:60000 集群启动 hive -hiveconf hbase.zookeeper.quorum=node1,node2,node3 Hive与hbase整合后的使用方法 在Hive中创建Hbase识别的表方法 CREATE TABLE hbase_table (key int, value string) STORED BY org.ap