Hive SQL的编译过程：美团数据仓库(转).pdfVIP

Hive SQL的编译过程：美团数据仓库(转) 2016年2月1日 16:00 Hive SQL的编译过程：美团数据仓库(转) Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行 近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关 键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的 同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些 Hive的bug，也有利于我们优化Hive SQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。 MapReduce实现基本SQL操作的原理 详细讲解SQL编译为MapReduce之前，我们先来看看MapReduce框架实现SQL基本操作的原理 Join的实现原理 select , o.orderid from order o join user u on o.uid = u.uid; 在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下 （这里只是说明最基本的Join的实现，还有其他的实现方式） Group By的实现原理 select rank, isonline, count(*) from city group by rank, isonline; 将GroupBy的字段组合为map的输出key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的 key。MapReduce的过程如下（当然这里只是说明Reduce端的非Hash聚合过程） Distinct的实现原理 select dealid, count(distinct uid) num from order group by dealid; 当只有一个distinct字段时，如果不考虑Map阶段的Hash GroupBy，只需要将GroupBy字段和Distinct字段组合为 map输出key，利用mapreduce的排序，同时将GroupBy字段作为reduce的key，在reduce阶段保存LastKey即可完成去 重 分区 hive优化 的第 1 页 如果有多个distinct字段呢，如下面的SQL select dealid, count(distinct uid), count(distinct date) from order group by dealid; 实现方式有两种： （1）如果仍然按照上面一个distinct字段的方法，即下图这种实现方式，无法跟据uid和date分别排序，也就无法 通过LastKey去重，仍然需要在reduce阶段在内存中通过Hash去重 （2）第二种实现方式，可以对所有的distinct字段编号，每行数据生成n行数据，那么相同字段就会分别排序，这 时只需要在reduce阶段记录LastKey即可去重。 这种实现方式很好的利用了MapReduce的排序，节省了reduce阶段去重的内存消耗，但是缺点是增加了shuffle的数 据量。 需要注意的是，在生成reduce value时，除第一个distinct字段所在行需要保留value值，其余distinct数据行 value字段均可为空。 SQL转化为MapReduce的过程 了解了MapReduce实现SQL基本操作之后，我们来看看Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为 六个阶段： 1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree 2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock 3. 遍历QueryBlock，翻译为执行操作树OperatorTree 4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量 5. 遍历OperatorTree，翻译为MapReduce任务 6. 物理层优化器进行MapReduce任务的变换，生成最终的执行计划 下面分别对这六个阶段进行介绍 Phase1 SQL词法，语法解析 Antlr Hive使用