cube maintenance 数据仓储与数据挖掘 方案策划.pptVIP

Data Mining: Concepts and Techniques Single Maintenance Algorithm Divide all class into buckets B[0],B[1],…. Bucket B[i] contains all classes whose upper bound cardinality is i. Iterate through the classes in each bucket in the order B[0],B[1],…. Applying the proposition 1-3, modify the aggregations, split the classes,… Materialize those classes whose distance exceeds threshold (addset structure) Computer new median for all new and modified classes in depth-first order (sliding window ) Data Mining: Concepts and Techniques * Cube Maintenance 当数据源的数据发生变化时，需要对数据方体（采用各种压缩方法缩减后的数据方体）中的数据进行相应的维护。 重新计算：简单方法，计算量太大 增量维护：在已有的数据方体基础上进行调整。 Cube Maintenance 对于不同的聚集函数，增量维护的方法和代价不一样 分布型聚集函数：具有可以累计的特性，非常适合于增量维护。这类函数称为可自维护型（self-maintainable）聚集函数。 代数型聚集函数：可以转化为分布函数，也是可自维护型函数。 整体型聚集函数：在计算的时候需要所有的数据，很难进行增量维护，被称为不可自维护型 Cube Maintenance 大多数增量维护的算法都是针对可自维护型函数。 对不可自维护型函数，通常采用近似的方法，维护一个统计信息，当数据源发生改变的时候，对统计信息进行更新，然后根据更新后的统计信息估计查询结果。 Cube Maintenance 设计增量维护算法的困难主要在于： 要同时支持三种类型的聚集函数。 维护算法的效率必须高于重新计算的效率， 必须能够对增加的数据进行批量更新。 设计好的批量更新算法是至关重要的。 Cube Maintenance 介绍我们自己的一项工作 针对Quotient Cube进行维护 Incremental maintenance of quotient cube for median. KDD 2004: 226-235 Quotient Cube的维护 挑战： Quotient Cube的等价类会变。 例如，当插入一条新的元组时，原来的等价类可能需要分解。 而当删除一条元组时，原来的等价类可能需要合并 当聚集函数是Median等综合聚集函数时，维护更难。 因为计算新的聚集值需要所有的历史数据，无法实现增量维护。时间和空间开销太大 all:23 all:28 c1:20 一个例子 a1c2:3 b1c2:3 a2:4 a3:10 c2:3 a1:9 b1:13 b2:10 a1b1:9 a1c1:6 b1c1:10 a2b1:4 a2c1:4 a3c1:10 a3b2:10 b2c1:10 a1b1c1:6 a2b1c1:4 a3b2c1:10 a1b1c2:3 C9 C7 C1 C2 C3 C4 C5 C6 C8 a1b3c1:5 c1:25 C2 C10 C11 a1b3:5 b3c1:5 b3:5 C12 a1:14 a1c1:11 维护策略 新插入一条元组可以对一个已有的等价类作如下改变 使某个等价类的聚集值发生改变 (Value Modified Class) 使某个等价类分裂成两个(New Class and its Generator) 还有一些等价类不做任何改变（Dump Class） 维护策略(Cont.) C4 C9 C7 C1 C6 C2 C8 C5 C3 C4 C9 C7 C1 C6 C2 C8 C5 C3 C12 C11 C10 C7,C9 是value modified class C10是new class, C2是generator C11是new class, C3是generator C12是new class, no generator (special case, introducing virtual class) 其他是dump class 维护策略(Cont.) 找出各种类型等价类的特征，针对不同类型的等价类对