重剑无锋 Hive性能调优.docxVIP

重剑无锋 | Hive功能调优 HQL供应了两个查看查询功能的工具：explain与analyze，除此之外Hive的日志也供应了格外具体的信息，便利查看执行功能和报错排查。 善用explain语句 explain语句是查看执行方案经常使用的一个工具，可以使用该语句分析查询执行方案，具体使用语法如下： EXPLAIN?[FORMATTED|EXTENDED|DEPENDENCY|AUTHORIZATION]?hql_query 上面的执行语句中，有4个可选的关键字，其具体含义如下： FORMATTED：对执行方案进行格式化，前往JSON格式的执行方案 EXTENDED：供应一些额外的信息，比如文件的路径信息 DEPENDENCY：以JSON格式前往查询所依靠的表和分区的列表，从Hive0.10开头使用，如下图 AUTHORIZATION：列出需要被授权的条目，包括输入与输出，从Hive0.14开头使用,如下图 一个典型的查询执行方案次要包括三部分，具体如下： Abstract Syntax Tree (AST)：笼统语法树，Hive使用一个称之为antlr的解析生成器，可以自动地将HQL生成为笼统语法树 Stage Dependencies：会列出运转查询全部的依靠以及stage的数量 Stage Plans：包含了格外重要的信息，比如运转作业时的operator 和sort or