Hive优化方法.pptxVIP

Hive优化方法简介 目录 为什么要优化 如何优化 如何排查 常见问题 注意事项 Hive-0.13新特性 为什么要优化 Hive使用简单 门槛低 容易造成误用 为什么要优化 低效的查询语句会带来哪些问题？ 耗时长 浪费集群资源 某任务查询涉及分区表，但未限制分区，导致任务map起了好几万个map 任务类型 是否优化 耗时 Sqoop任务A 否 3hrs, 58mins, 35sec Sqoop任务A 是 1hrs, 9mins, 17sec 如何优化 减少处理数据量 如何合理的设置map、reduce个数 小文件合并 Shuffle过程优化 JOIN优化 数据倾斜优化 Hive执行 Hive执行其实是将hql语句转换为MapReduce任务进行运行。 MAP Reduce Shuffle Hive执行 以一个GroupBy查询为例： logs name area A China A China A China B Japan select name,count(*) from logs group by name fileA fileB Hive执行 select name,count(*) from logs group by name logs name area A China A China logs name area A China B Japan key value A 2 key value A 1 B 1 MAP key value A 2 A 1 key value B 1 Shuffle Reduce key value A 3 key value B 1 hive.map.aggr 减少处理数据量 分区裁剪 查询涉及分区表时，在WHERE子句或ON子句中限制分区范围 列裁剪 只读取查询中需要用到的列，忽略其他不关心的列 select * from … select t.col1,… from … 合理设置map、reduce个数 增加map/reduce数，提高并发度，可以加快计算速度，但…… 是不是map 、reduce个数越多越好呢？ 合理设置map、reduce个数 那么设置过多task会造成哪些影响呢？ 从单一任务角度看 Task overhead过大 调度成本高 从用户资源调度角度看 抢占资源，造成任务拥堵 合理设置map数 影响Map个数的因素： hdfs块大小（dfs.block.size: 128M） 文件的大小 文件的个数 splitsize的大小（ mapred.max.split.size 和mapred.min.split.size ） splitSize=Math.max(minSize, Math.min(maxSize, blockSize)) 合理设置map个数 建议值 128MB~512MB/Task 调大map个数 调小mapred.max.split.size 调小map个数 调大mapred.max.split.size 合理设置reduce个数 在未指定reduce个数的情况下，计算公式如下： reducers = Math.min(maxReducers, totalInputFileSize/bytesPerReducer) maxReducers由参数hive.exec.reducers.max设置，默认999 bytesPerReducer由参数hive.exec.reducers.bytes.per.reducer 设置，默认1G 极端：大数据量Count(1) 情况 合理设置reduce个数 建议值 512MB~1GB/Task 调整reduce个数 通过mapred.reduce.tasks或mapreduce.job.reduces设置 Map Output Bytes 小文件合并——输入合并 输入是大量小文件的影响： Overhead过大：map task 调度启动时间：4~6s 实际计算时间很小 输入数据是大量小文件怎么办？ 考虑输入合并 小文件合并——输入合并 输入合并示例： set hive.input.format = binehiveinputformat; set mapred.max.split.size = 536870912; //512MB set mapred.min.split.size = 134217728; //128MB 小文件合并——输出合并 若任务A输出很多小文件，则后续的任务B/C/D均要做相应的优化处理。 如何合并输出小文件？ 任务A 任务B 结果表 输入 输出 输出 输入 任务C 输入 输入 任务D 输出 输出 小文件合并——输出合并