e4_30 hive数据仓库4课件71 - hive数据仓库4.ppt

基于Greenplum Hadoop 分布式平台的大数据解决方案 Greenplum Hadoop 讲师：迪伦（北风网版权所有) Hive数据仓库(4) HiveQL常用操作 Hive的优化 课程目标 HiveQL常用操作-多表插入 多表插入指的是在同一条语句中，把读取的同一份元数据插入到不同的表中hive create table mutil1 as select id,name from userinfo;hive create table mutil2 like mutil1;hive from userinfo insert overwrite table mutil1 select id,name  insert overwrite table mutil2 select count(distinct id),name group by name; 查询结果hive select id,name from mutil1;hive select id,name from mutil2; HiveQL常用操作-修改/删除表 修改表 删除表 对普通表，drop操作把元数据和数据文件删除掉，对于外部表，只是删除元数据 HiveQL常用操作-连接 HiveQL的连接分为内连接、左外连接、右外连接、全外连接和半连接5种 内连接select userinfo.*,choice.* from userinfo join choice on (userinfo.id=choice.userid); 左外连接select userinfo.*,choice.* from userinfo left outer join choice on (userinfo.id=choice.userid); 右外连接select userinfo.*,choice.* from userinfo right outer join choice on (userinfo.id=choice.userid); 全外连接select userinfo.* from userinfo full outer join choice on (userinfo.id=choice.userid); 半连接（IN操作的替代方案）select userinfo.* from userinfo left semi join choice on (userinfo.id=choice.userid); HiveQL常用操作-子查询/创建视图 HiveQL对子查询的支持很有限，只能在from子句中出现子查询select teacher, MAX(class_num) from (select teacher, count(classname) as class_num from classinfo group by teacher) subq group by teacher; 创建视图 更多HiveQL语法 地址：/confluence/display/Hive/LanguageManual Hive的优化 列裁剪（Column Pruning） 读取数据时，只读取需要用到的列，而忽略其他列。例如：SELECT a,b FROM t WHERE e10; 分区裁剪（Partition Pruning） 在查询过程中减少不必要的分区。例如：SELECT * FROM (SELECT c1, COUNT(1) FROM T GROUP BY c1) subq WHERE subq.prtn=100; 要实现分区裁剪，须设置hive.optimize.pruner=true Join操作 进行JOIN操作时，应将记录少的表/子查询放在Join操作符的左边。 对于一条语句中有多个Join的情况，如果Join的条件相同，不管有多少个表，都会合并成为一个MapReduce Hive的优化 Map Join操作 Map Join操作无须reduce操作就可以在map阶段全部完成，前提是在map过程中可以访问到全部需要的数据。例如：INSERT OVERWRITE TABLE pv_usersSELECT /*+ MAPJOIN(pv) */ pv.pageid,u.ageFROM user u ON (pv.userid=u.userid); Group By操作 Map端部分聚合。很多聚合操作都可以先在map端进行部分聚合，然后在reduce端得出最终结果。相关参数：hive.map.aggr=true，hive.groupby.mapaggr.checkinterval=100000 有数据倾斜（数据分布不均