ch4 数据立方体计算与数据泛化.pptVIP

Data Mining: Concepts and Techniques Data Mining:  Concepts and Techniques — Chapter 4 — 第4章:数据立方体计算与数据泛化 数据立方体计算的有效方法 数据立方体和OLAP技术的进一步发展 面向属性的归纳 ─ 另一种数据泛化和概念描述方法 数据立方体计算的有效方法 立方体物化（预计算）：完全立方体、冰山立方体、闭立方体、外壳立方体 完全立方体/冰山立方体物化: 3种方法 Top-Down: 多路数组聚集 (Zhao, Deshpande Naughton, SIGMOD’97) Bottom-Up: BUC(自底向上构造) (Beyer Ramarkrishnan, SIGMOD’99) H-cubing技术 (Han, Pei, Dong Wang: SIGMOD’01) Top-Down和Bottom-Up结合: Star-cubing算法 (Xin, Han, Li Wah: VLDB’03) 高维OLAP计算外壳片段: 最小立方体计算方法 (Li, et al. VLDB’04) 例4-1~例4-3 立方体计算的一般策略 排序、散列、分组 对元组重新定序和聚类 同时聚集和缓存中间结果 由先前计算的较低层聚集计算较高层聚集 从缓存的中间结果同时聚集计算 当存在多个子女方体时，由最小的子女聚集 由最小的、先前计算的子女方体计算父母方体 使用Apriori剪枝方法有效计算冰山立方体 若给定的单元不满足最小支持度，则该后代也不满足最小支持度 显著降低冰山立方体的计算量 完全立方体计算的多路数组聚集(1) 基于数组的“bottom-up”算法 使用多维块 使用数组直接寻址的典型的MOLAP方法 同时对多个维计算聚集 中间的聚集值可用于后继方体的计算 不能利用Apriori 剪枝: 无冰山优化 完全立方体计算的多路数组聚集(2) 将数组分成块。块（chunk）是一个子方，分块（chunking）是一种将n维数组划分成小的n维块的方法，每个块作为一个对象存放在磁盘上 通过访问立方体单元，计算聚集。通过优化访问单元的次序，使得每个单元必须重复访问的次数最小化，以减少存储访问开销和存储开销 完全立方体计算的多路数组聚集(3) 完全立方体计算的多路数组聚集(4) 完全立方体计算的多路数组聚集(5) 方法: 将3-D数组划分为小的、基于内存的块。升序扫描各块。 See the details of Example 4-4 (pp. 106-108) 思路: 将最小2-D平面保存到内存中，最大2-D平面一次只读取并计算一次 不同的块扫描次序和方体计算对整个数据立方体的计算效率有影响 局限性: 仅对维数相对较少的数据立方体成立，因为计算的方体个数随维指数增长，为避免维增长灾难： 冰山方(iceberg cube)计算方法：仅存放这样的方体——分划中每个单元的聚集值大于某个最小支持度或阈值 BUC：从顶点方体向下计算冰山方体 Bottom-Up cube Construction 自底向上构造？ 可利用Apriori性质进行剪枝 对维划分，然后利用冰山剪枝 如果划分不满足最小支持度 min_sup, 则被剪枝 如果minsup = 1，则计算完全立方体 不同时聚集 BUC算法：P109 BUC: 划分 例4-5 冰上立方体的BUC构造 通常不会将整个数据集载入内存 排序?划分为块 优化： 划分 External Sorting, Hashing, Counting Sort 对维排序（基数、倾斜度），鼓励剪枝 以基数递减排序维 首先处理左右区分能力的维：基数越高，划分越多，为BUC剪枝提供更大的机会 维约均匀（具有较小的倾斜），对剪枝越好 分担划分开销 不在父母与子女的分组之间分享聚集计算 Star-Cubing: 使用动态星形树结构计算冰山立方体 集成自顶向下和自底向上立方体计算，并利用多维聚集（类似于多路聚集）和类Apriori剪枝（类似于BUC） 利用共享维的概念 E.g., ACD和AD具有共享维A ABD/AB 意味着方体 ABD具有共享维AB 共享维的引入有利于共享的计算 e.g., 方体AB与方体ABD同时计算 对全局计算，采用bottom-up次序；子层，采用基于top-down ，采用Apriori 剪枝 共享维采用bottom-up模式 共享维的冰山剪枝 共享维的反单调特性 如果冰山立方体的度量是反单调的，即共享维的聚集不满足冰山条件，则沿该共享维向下的所有单元也不满足冰山条件 这样的单元和所有后代允许类Apriori剪枝 如果共享维上的聚集值不满足冰山条件，则后代单元也不可能满足 例4-6 剪枝共享维 方体树 使用