数据仓储和数据挖掘讲义 第5章：数据立方体计算和数据泛化.pptVIP

第五章 数据立方体计算与数据泛 化;5.1 数据立方体计算的有效方法;方体计算的多路数组聚集方法(p105);方体计算的多路数组聚集方法(2);方体计算的多路数组聚集方法(3);方体计算的多路数组聚集方法(4);结论:对于方体计算的多路数组聚集方法，应该将最小的平面放在内存中，对 最大的平面每次只是取并计算一块。图5-3 要求：内存＞最小平面所需存储空间(40*400) ＋次小平面一行所需存储空间(40*1000) ＋最大平面一个单元所需存储空间(100*1000);当内存空间不够时,则需要多次扫描数据库． 冰山查询:仅对立方体中满足每个单元的聚集值大于某个最小支持度或者阈值的分划进行计算. *索引的使用:加快检索存取速度.;基于假设驱动的探查方法 exploration by user, huge search space 基于发现驱动的探查方法(Sarawagi, et al.’98) Effective navigation of large OLAP data cubes pre-compute measures indicating exceptions, guide user in the data analysis, at all levels of aggregation Visual cues such as background color are used to reflect the degree of exception of each cell;Exception: significantly different from the value anticipated, based on a statistical model;;Examples: Discovery-Driven Data Cubes;提供了对数据分析中潜在问题的导航作用 从顶向下的计算策略，而MIS中一般是自底向上计算 数据的泛化与细化（各个层次的聚集）;5.3 面向属性的归纳：另一种数据概化;描述性挖掘;什么是概念描述？ 描述性挖掘 VS. 预测性挖掘 描述性挖掘：以简洁概要的方式描述数据，并提供数据的有趣的一般性质。 预测性数据挖掘：通过分析数据建立一个或一组模型，并试图预测新数据集的行为。 概念描述：为数据的特征化和比较产生描述（当所描述的概念所指的是一类对象时，也称为类描述） 特征化：提供给定数据集的简洁汇总。例如按专业的成绩分布表 区分：提供两个或多个数据集的比较描述。如男生与女生的对比。;二、 数据特征化：面向属性的归纳（AOI）;面向属性的归纳的基本步骤;1、数据聚焦;数据聚焦时的困难 用户在指定相关的数据集方面存在困难，遗漏在描述中可能起作用的属性 用户可能引进太多的属性;2、数据概化;属性概化控制;两种技术的顺序使用：使用属性概??临界值控制来概化每个属性， 然后使用关系临界值控制进一步压缩概化的关系。 ;三、面向属性的归纳——示例;2、数据概化;3、得到概化关系;四、面向属性的归纳算法;P generalization(W) /如{18-35} young 通过使用v`代替W中每个v，累计计数并计算所有聚集值，导出 P 每个概化元组的插入或累计计数(使用对半插入法便于计数） 用数组表示P;五、导出泛化的表示;2）、交叉表（表5-15） 二维交叉表使用每行显示一个属性，使用每列显示另外一个属性将结果集映射到表中;量化规则 量化特征规则 将概化的结果映射到相应的量化特征规则中，比如（p128,例5.8）：;5.4 挖掘类比较：区分不同的类;一、 类比较方法和实现 类比较的过程;类比较挖掘——示例5.10 (1);进行类比较挖掘的输入： 给定的属性：name, gender, major, birth_place, birth_date, residence, phone# and gpa 在属性ai上定义的概念分层 Gen(ai) 在属性ai上定义的属性分析(删除）临界值 Ui （不同值的个数，删除） 在属性ai上定义的属性概化临界值Ti（不同值的个数，概化） 属性相关性临界值R(如信息增益的最小值：下界）;任务的处理过程 数据收集 DMQL查询转化为关系查询，得到初始目标类工作关系和初始对比类工作关系 （可以看成使构造数据立方体的过程） 在两个数据类上进行维相关分析 根据Ui与R，删除不相关或者使弱相关的维：name, gender, major, phone# 同步概化 在目标类和对比类上同步的进行概化，将相关的维概化到由属性概化临界值Ti决定的同样的层次 导出比较的表示 用表、图或规则等形式表达类比较描述的挖掘结果;目标类的主概化关系: