数据仓储与数据挖掘讲义 第5章：数据立方体计算与数据泛化.pptVIP

第五章 数据立方体计算与数据泛 化 5.1 数据立方体计算的有效方法 方体计算的有效方法 基于ROLAP的方体算法(Agarwal et al’96) 基于数组的算法(MOLAP)(Zhao et al’97) 自底向上的计算方法(Beyer Ramarkrishnan’99) H-cubing技术 (Han, Pei, Dong Wang:SIGMOD’01) 基于ROLAP的方法 将排序、散列(hashing)和分组操作应用于维的属性，以便对相关元组重新排序和聚类 在某些子聚集上分组，作为“部分分组步骤”。 可以由以前计算的聚集计算新的聚集，而不必有基本事实表计算 方体计算的多路数组聚集方法(p105) 将数组分成块（chunk,一个可以装入内存的小子方） 压缩的稀疏数组寻址：(chunk_id, offset) 通过访问立方体单元，计算聚集。可以优化访问单元组的次序，使得每个单元被访问的次数最小化，从而减少内存访问和磁盘I/O的开销。 方体计算的多路数组聚集方法(2) 方体计算的多路数组聚集方法(3) 方体计算的多路数组聚集方法(4) 方法：各平面要按他们大小的升序排列进行排序和计算 详见书P106 例4.4 思想：将最小的平面放在内存中，对最大的平面每次只是取并计算一块 这种方法的限制：只有在维数比较小的情况下，效果才比较理想(要计算的立方体随维数指数增长) 如果维的数目比较多，可以考虑使用“自底向上的计算”或者时“冰山方体” 计算 结论:对于方体计算的多路数组聚集方法，应该将最小的平面放在内存中，对 最大的平面每次只是取并计算一块。图5-3 要求：内存＞最小平面所需存储空间(40*400) ＋次小平面一行所需存储空间(40*1000) ＋最大平面一个单元所需存储空间(100*1000) 当内存空间不够时,则需要多次扫描数据库． 冰山查询:仅对立方体中满足每个单元的聚集值大于某个最小支持度或者阈值的分划进行计算. *索引的使用:加快检索存取速度. 5.2 数据立方体中的数据分析探查方法 基于假设驱动的探查方法 exploration by user, huge search space 基于发现驱动的探查方法(Sarawagi, et al.’98) Effective navigation of large OLAP data cubes pre-compute measures indicating exceptions, guide user in the data analysis, at all levels of aggregation Visual cues such as background color are used to reflect the degree of exception of each cell Exception: significantly different from the value anticipated, based on a statistical model 因此可以在数据立方体中构建相应的模型，通过计算，三个异常指示器SelfExp, InExp, and PathExp 的值来指示可能存在的数据异常，指导用户进行数据探察和分析。 Exception themselves can be stored, indexed and retrieved like precomputed aggregates Examples: Discovery-Driven Data Cubes 5.3 面向属性的归纳：另一种数据概化 一、什么是数据概化？ 数据库中的数据和对象通常包含原始概念层的细节信息，数据概化就是将数据库中的跟任务相关的数据集从较低的概念层抽象到较高的概念层的过程。 用较高层次的概念来代替较低层次的概念 例如:用老、中、青分别代替（20-35，36-50，51-70）的年龄区间值。 用省代替地市级的概念等 什么是概念描述？ 描述性挖掘 VS. 预测性挖掘 描述性挖掘：以简洁概要的方式描述数据，并提供数据的有趣的一般性质。 预测性数据挖掘：通过分析数据建立一个或一组模型，并试图预测新数据集的行为。 概念描述：为数据的特征化和比较产生描述（当所描述的概念所指的是一类对象时，也称为类描述） 特征化：提供给定数据集的简洁汇总。例如按专业的成绩分布表 区分：提供两个或多个数据集的比较描述。如男生与女生的对比。 二、 数据特征化：面向属性的归纳（AOI） Attribute-oriented induction, AOI (KDD `89 Workshop) 受数据类型和度量类型的约束比较少 面向属性归纳的基本思想