原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
FHive进阶篇」
万字长文超详述hive企业级优化
目录
一、 问题背景 4
二、 hive优化 5
1 .列裁剪和分区裁剪 5
2. 提前数据收敛5
3. 谓词下推 (Predicate Pushdown) 7
4. 多路输出 8
5. 合理选择排序9
6. j oin优化 11
7. 合理选择文件存储格式和压缩方式14
8. 解决小文件过多问题14
9. count (distinct ) 和 group by 16
10. 参数调优 17
11. 解决数据倾斜问题 18
三、 总结21
_，问题背景
hive离线数仓开发，一个良好的雌任务，它的运 时长一般是在合理范围内的，当发
现 报表应用层的指标数据总是产出延迟，排查定位发现是有些任务执 了超10小时这样
肯定是不合理的，此时就该想想如何优化数据I琦链路，主要从以下几个角度来考虑问
题解决：
1 .从数据任务本身hive逻辑代码出发，即hive逻辑优化，偏理解业务角度
2. 从集群的资源设置出发，即hive参数调优，偏理解技术角度
3. 从全局数据链路的任务设置出发，观删是否任务执 调度设置不合理
4. 从数仓的数据易用性和模型复用性的角度出发，针对某些中间逻辑过程可以复用的
就落地中间模型表
下面就先分享下常见的hive优化策略吧~上芯洗 妃妇3 顷
hive优化文章大纲
1. 列裁剪和分区裁剪
2. 提前数据收敛
3. 谓词下推(PP )
4. 多路输出，减少表读取次数写多个结果表
5. 合理选择排序
6. j oin优化
7. 合理选择文件存储格式和压缩方式
8. 解决小文件过多问题
9. distinct 和 group by
10.参数调优
11.解决数据倾斜问题
二hive优化
1 .列裁剪和分区裁剪
裁并顾名思义就是不需要的数据不要多查。
列裁剪，尽量减少直接，elect * from tab」， 这种操作，首先可读性不好，根本不知道具
体用到哪几个列，其次列选择多了也会增大I。传输；
分区裁剪就是针对分区表切记要加上分区过滤条件，比如表以时间作为分区字段，要加
上分区筛选。
2.提前数据收敛
在子查询中，有些条件能先过滤的尽量放在子查询里先过滤，减少子查询输出的数据量。
--原脚本
select
a.字段a, a.字段b, b.字段a, b.字段b
from
(
select字段a,字段b
from tablj a
.d.rre (It =(Ih •( sub (current dat e, 1)
)a
left j oin
(
select字段a,字段b
from table_b
where dt = date sub(current date,1)
)b
on a,字段a = b,字段a
where a.字段b
and b.字段b xxx
I
-优化脚本(数据收敛)
select
a.字段a, a.字段b, b.字段a, b.字段b
from
(
select字段a,字段b
from tablets
where dt = date sub (current date, 1)
and 字段b
)a
left j oin
(
select字段a,字段b
from table_b
where dt = date sub (current date, 1)
and 字段b xxx
)b
on a,字段a = b.字段a
3.谓词下推(Predicate Pushdown)
谓词下推Predicate Pushdown是什么？简称PPD,指的是在不影响数据结果的情况
下，将过滤表达式尽可能移动至靠
文档评论（0）