Adaptive Execution 让 Spark SQL 更智能更高效 .docVIP

Adaptive Execution 让 Spark SQL 更智能更高效 1 背景 　　前面《Spark SQL / Catalyst 内部原理 与 RBO》与《Spark SQL 性能优化再进一步 CBO 基于代价的优化》介绍的优化，从查询本身与目标数据的特点的角度尽可能保证了最终生成的执行计划的高效性。但是 　　执行计划一旦生成，便不可更改，即使执行过程中发现后续执行计划可以进一步优化，也只能按原计划执行 　　CBO 基于统计信息生成最优执行计划，需要提前生成统计信息，成本较大，且不适合数据更新频繁的场景 　　CBO 基于基础表的统计信息与操作对数据的影响推测中间结果的信息，只是估算，不够精确 　　本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点 　　执行计划可动态调整 　　调整的依据是中间结果的精确统计信息 　　2 动态设置 Shuffle Partition 　　2.1 Spark Shuffle 原理 　　Spark Shuffle 一般用于将上游 Stage 中的数据按 Key 分区，保证来自不同 Mapper (表示上游 Stage 的 Task)的相同的 Key 进入相同的 Reduc