cubemaintenance演示文件修改版.pptVIP

Data Mining: Concepts and Techniques Cube Maintenance 当数据源的数据发生变化时，需要对数据方体（采用各种压缩方法缩减后的数据方体）中的数据进行相应的维护。 重新计算：简单方法，计算量太大 增量维护：在已有的数据方体基础上进行调整。 Cube Maintenance 对于不同的聚集函数，增量维护的方法和代价不一样 分布型聚集函数：具有可以累计的特性，非常适合于增量维护。这类函数称为可自维护型（self-maintainable）聚集函数。 代数型聚集函数：可以转化为分布函数，也是可自维护型函数。 整体型聚集函数：在计算的时候需要所有的数据，很难进行增量维护，被称为不可自维护型 Cube Maintenance 大多数增量维护的算法都是针对可自维护型函数。 对不可自维护型函数，通常采用近似的方法，维护一个统计信息，当数据源发生改变的时候，对统计信息进行更新，然后根据更新后的统计信息估计查询结果。 Cube Maintenance 设计增量维护算法的困难主要在于： 要同时支持三种类型的聚集函数。 维护算法的效率必须高于重新计算的效率， 必须能够对增加的数据进行批量更新。 设计好的批量更新算法是至关重要的。 Cube Maintenance 介绍我们自己的一项工作 针对Quotient Cube进行维护 Incremental maintenance of quotient cube for median. KDD 2004: 226-235 Condensed 和 Quotient比较 a1b1c1 a1b1c2 a2b2c1 Quotient cube: 分为5个等价类 Condensed Cube a1b1c1 是BC AC ABC上的单元组 a1b1c2 是BC AC ABC上的单元组 a2b2c1 是A B AB AC BC ABC上的单元组 每个等价类有上届和下届，上届是唯一的。 每个等价类本身是一个格结构 上届和所对应的基元组ID集合之间是最大匹配。 计算Quotient Cube的过程就是求每个等价类的下界和上届的过程。 运用BUC算法求上届的过程体现close原理 Quotient Cube的维护 挑战： Quotient Cube的等价类会变。 例如，当插入一条新的元组时，原来的等价类可能需要分解。 而当删除一条元组时，原来的等价类可能需要合并 当聚集函数是Median等综合聚集函数时，维护更难。 因为计算新的聚集值需要所有的历史数据，无法实现增量维护。时间和空间开销太大 一个例子 维护策略 新插入一条元组可以对一个已有的等价类作如下改变 使某个等价类的聚集值发生改变 (Value Modified Class) 使某个等价类分裂成两个(New Class and its Generator) 还有一些等价类不做任何改变（Dump Class） 维护策略(Cont.) C7,C9 是value modified class C10是new class, C2是generator C11是new class, C3是generator C12是new class, no generator (special case, introducing virtual class) 其他是dump class 维护策略(Cont.) 找出各种类型等价类的特征，针对不同类型的等价类对它们分别进行维护 维护策略(Cont.) 观察发现，当一个新的元组和一个旧的等价类的上届匹配的时候，新元组的插入将会引起等价类聚集值的改变 由于等价类的上届是最综合的数据元素，只要元组与它匹配，则与该等价类中的每一个数据元素都匹配。因此，在这种情况下，旧的等价类不需要分裂。 维护策略(Cont.) 属性1 [修改类] 如果一个类Cm满足条件：Cm.upp?t.cell 则该类是一个需要修改的类，Cm.v = Cm.v+t.v。 t的维值集合t.cell如果包含类Cm的上届Cm.upp，则意味着元组t对类Cm的聚集值有贡献，因此需要对类Cm的聚集值进行更新。 比如，由于c1? a1b3c1，等价类C7的聚集值从20改为25。 维护策略(Cont.) 属性2 [新类的特征] 新类Cn具有特征Cn.upp=Cg.upp?t.cell， 其中Cg是一个旧类。Cg称为Cn的生成者。 元组t的维值集合t.cell和某个旧类的上届相交表示元组t对类Cg中的部分元素的聚集值作出了贡献。由于此时旧类Cg的所有元素所包含的底层元组不一样了，所以此时旧类Cg必须拆分成两个类。 维护策略(Cont.) 一个极端的例子：假设基表R中原来只有一个元组, a1 b