Kylin多维分析引擎Cube构建与优化策略研究.pdfVIP

1.Cube构建优化

1.1.Cuboid剪枝优化

1.1.1.维度的组合

1.1.2.检查Cuboid数量

1.1.3.检查Cube大小

1.1.4.空间与时间的平衡

1.2.剪枝优化工具

1.2.1.使用衍生维度

1.2.2.聚合组

1.2.3.必需维度

1.2.4.层级维度

1.2.5.联合维度

1.3.并发粒度优化

1.4.Rowkey优化

1.4.1.调整rowkey顺序

1.4.2.按维度分片

1.5.Cubenner优化

1.Cube构建优化

ApacheKylin的思想是根据用户的数据模型和查询样式对数据进行预计算，并在查询时直接利用预

计算结果返回查询结果。（kylinhivemapreducehbase）相比普通的大规模并行处理解决方案，

Kylin具有响应时间快、查询时资源需求小、吞吐量大等优点（这么讲的额，就是因为用户写查询时

都能cube）。用户的数据模型包括维度、度量、分区列等基本信息，也包括用户通过Cube优化工

具赋予其的额外的模型信息。

Kylin在没有采取任何优化措施的情况下，Kylin会对每一种维度的组合进行预计算，每种维度的组合的

预计算结果被称为Cuboid。假设有4个维度，我们最终会有2^4=16个Cuboid需要计算。

但在现实情况中，用户的维度数量一般远远大于4个。假设用户有10个维度，那么没有经过任何优化的

Cube就会存在210=1024个Cuboid；而如果用户有20个维度，那么Cube中总共会存在2^20=1048576

个Cuboid。虽然每个Cuboid的大小存在很大的差异，但是单单想到Cuboid的数量就足以让人想象到这

样的Cube对构建引擎、引擎来说有多么巨大。因此，在构建维度数量较多的Cube时，尤其要

注意Cube的剪枝优化（即减少Cuboid的生成）。

kylin：膨胀率（kylin预计算在HBase的数据大小/hive原始表数据的大小的比例0-1000%）

总的来说，在构建Cube之前，Cube的优化了与数据模型或查询样式相关的信息，用于指

导构建出体积更小、查询速度更快的Cube。总结一下Kylin优化的两大方向：空间优化和查询时间优

化。

使用资源越多，最后查询延迟肯定越低

1.1.Cuboid剪枝优化

1。Cube构建优化

1。1。cuboid剪枝优化

1。1。1.1.1.1.1.2.

cuboid数量1。1。1.

3。调整rowkey顺序1。

4。2。按维度分片1。

5。立方体规划师优化

1。Cube构建优化

apachekylin的思想是根据用户的数据模型和查询样式对数据进行预计算，并在查询时直接利用预

（kylinhivemapreducehbase）相比普通的大规模并行处理解决方案，kylin具有响应时间快、查

询时资源需求小、吞吐量大等优点（这么讲的额，就是因为用户写查询时，cube）。用户的数据

模型包括维度、度量、分