二零二三年 优质公开课Cuboid剪枝优化.pptx

Cuboid剪枝优化 目 录CONTENTS2检查 Cuboid 数量1维度的组合 维度的组合PART 0101 维度的组合 在没有采取任何优化措施的情况下，Kylin 会对每一种维度的组合进行聚合预计算，维度的一种排列组合的预计算结果称为一个 Cuboid。如果有 4 个维度，结合简单的数学知识可知，总共会有 24=16 种维度组合，即最终会有 24=16 个 Cuboid 需要计算，如图 所示。其中，最底端的包含所有维度的 Cuboid 称为 Base Cuboid，它是生成其他 Cuboid 的基础。维度的组合 使用衍生维度NormalABEABAEBEABEDerivedABABF(A) = E衍生维度原理dimensionmeasure 维度的组合 维度的组合在现实应用中，用户的维度数量一般远远大于 4 个A假设用户有 10 个维度，那么没做任何优化的 Cube 总共会存在 210=1024 个 Cuboid。B而如果用户有 20 个维度，那么 Cube 中总共会存在 220=1048576 个 Cuboid！虽然每个 Cuboid 的大小存在很大差异，但是仅 Cuboid 的数量就足以让人意识到这样的 Cube 对构建引擎、存储引擎来说会形成巨大的压力。因此，在构建维度数量较多的 Cube 时，尤其要注意进行 Cube 的剪枝优化。 检查 Cuboid 数量PART 0202 检查 Cuboid 数量Apache Kylin提供了一种简单的工具供用户检查 Cube 中哪些 Cuboid 最终被预计算了，将其称为被物化（materialized）的 Cuboid。这种工具还能给出每个 Cuboid 所占空间的估计值。该工具需要在 Cube 构建任务对数据进行一定的处理之后才能估算 Cuboid 的大小，具体来说，就是在构建任务完成“Save Cuboid Statistics”这一步骤后才可以使用该工具。 检查 Cuboid 数量由于同一个 Cube 的不同 Segment 之间仅是输入数据不同，模型信息和优化策略都是共享的，所以不同的 Segment 中被物化的 Cuboid 是相同的。因此，只要 Cube 中至少有一个 Segment 完成了“Save Cuboid Statistics”这一步骤的构建，那么就能使用如下的命令行工具去检查这个 Cube 中的 Cuboid 的物化状态。bin/kylin.sh mon.CubeStatsReader CUBE_NAME CUBE_NAME 想要查看的Cube的名称该命令的输出中，会依次打印出每个 Segment 的分析结果，不同 Segment 的分析结果基本趋同。在上面的例子中 Cube 只有一个 Segment，因此只有一份分析结果。对于该结果，自上而下来看，首先能看到 Segment 的一些整体信息，如估计 Cuboid 大小的精度（hll precision）、Cuboid 的总数、Segment 的总行数估计、Segment 的大小估计等。 检查 Cuboid 数量Segment 的大小估算是构建引擎自身用来指导后续子步骤的，如决定 mapper 和 reducer 数量、数据分片数量等的依据，虽然有的时候对 Cuboid 的大小的估计存在误差（因为存储引擎对最后的 Cube 数据进行了编码或压缩，所以无法精确预估数据大小），但是整体来说，对于不同 Cuboid 的大小估计可以给出一个比较直观的判断。由于没有编码或压缩时的不确定性因素，因此 Segment 中的行数估计会比大小估计来得更加精确一些。在分析结果的下半部分可以看到，所有的 Cuboid 及其分析结果以树状的形式打印了出来。在这棵树中，每个节点代表一个 Cuboid，每个 Cuboid 的 ID 都由一连串 1 或 0 的数字组成，数字串的长度等于有效维度的数量，从左到右的每个数字依次代表 Cube 的 Rowkeys 设置中的各个维度。如果数字为 0，则代表这个 Cuboid 中不存在相应的维度，如果数字为 1，则代表这个 Cuboid 中存在相应的维度。 检查 Cuboid 数量1970年代公钥密码术的发展使交换密钥的麻烦减少了。自1975年发布Diffie-Hellman密钥交换协议以来，就可以通过不安全的通信渠道交换密钥，这大大降低了分发过程中密钥泄露的风险。使用类似于书籍代码的内容，可以将关键指示符作为明文附加到加密邮件中。理查德·索尔格（Richard Sorge）的代码业务员使用的加密技术属于这种类型，虽然实际上是一种代码，但它是指统计手册中的一页。在德国陆军 谜对称加密密钥在使用初期是一种混合类型。密钥是秘密分发的密钥时间表和用户为每个消息选择的会话密钥组