二零二三年 优质公开课CubePlanner优化.pptx

Cube Planner优化 目 录CONTENTS2减枝的原则1背景介绍 背景介绍PART 0101 背景介绍Apache Kylin? (以下简称Kylin) 是一个开源的分布式分析引擎，最初由eBay于2014年贡献给 Apache 基金会。Kylin 提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，能在亚秒级的时间内返回查询结果。1数据分析师可以在 Web UI 中输入 SQL，或者通过可视化分析工具选择任意的维度和指标来定制自己的分析报告。3Kylin 的核心在于 Cube 的设计和构建，它把原始表中的数据按照用户选择的维度进行预处理，然后把结果 (Cube）加载到存储引擎（默认 HBase) 里，供用户查询使用。2 背景介绍帮助用户构建一个更高效的 Cube，实现对 Cube 的“二次瘦身”。 最终减少预计算的工作量和存储所需空间。在用户定义的 Aggregation Group 等手动优化基础上，Cube Planner 自主挑选 Cuboid，Kylin 在 2.3.0 版本引入了 Cube Planner，自动地对 Cube 的结构进行优化。如下图所示 背景介绍知识巩固我们知道，在没有采取任何优化措施的情况下，Kylin 会对每一种维度的组合进行预计算，每种维度组合的预计算结果被称为 Cuboid，这些 Cuboid 组成了 Cube。如果有20个维度，那么 Cube 就会有超过一百万个 Cuboid。假设数据有10个维度，那么没有经过任何剪枝优化的 Cube 就会有 210=1024个 Cuboid； 减枝的原则PART 0202 减枝的原则0102贪心算法基因算法Cuboid 的效益即预计算出这个 Cuboid，相比没有这个 Cuboid 对整个 Cube 的所有查询所能减少的查询成本。通过贪心算法和基因算法，更直观地展示 Cube Planner 的选择过程。 减枝的原则Cuboid 的成本：由于往往构建是一次性的，而查询是重复性的，因此我们忽略构建成本，只使用查询成本来计算。构建成本：取决于该维度组合的数据行数。查询成本：取决于查询该 Cuboid 所需要扫描的行数。本质上就是从 2^N 种维度组合中挑选出部分维度组合添加到进 recommendCuboidList 中以进行后续的构建。问题的关键在于剪枝的标准，对于某种可能的维度组合只有两种结果：被预计算和不被预计算，这取决于加入这个 Cuboid 产生的收益除以成本（效益比）。Cube Planner 1、介绍了Cube Planner优化背景2、介绍了减枝的原则 谢谢观看