5、概念描述：特征化与比较.ppt

信息增益 (2) 一个有v个值的属性A{a1,a2,...,av}可以将S分成v个子集{S1,S2,...,Sv}，其中Sj包含S中属性A上的值为aj的样本。假设Sj包含类Ci的sij个样本。根据A的这种划分的期望信息称为A的熵 A上该划分的获得的信息增益定义为： 具有高信息增益的属性，是给定集合中具有高区分度的属性。所以可以通过计算S中样本的每个属性的信息增益，来得到一个属性的相关性的排序。 概念描述的属性相关分析步骤 (1) 数据收集 通过查询处理，收集目标类和对比类数据 使用保守的AOI进行预相关分析 识别属性和维的集合，它们是所选择的相关性分析度量的应用对象 因为不同的概念层对某个类描述的相关性可能很不同，因此在这个过程中同时要包含概念分层 对有大量不同值的属性进行删除或概化 在这一级进行概化时，临界值要相应比较高，以便在后续步骤的分析中包含更多属性（保守的） 产生候选关系 概念描述的属性相关分析步骤 (2) 使用选定的相关分析度量删除不相关和弱相关的属性 使用选定的相关分析度量（e.g.信息增益），评估候选关系中的每个属性 根据所计算的相关性对属性进行排序 低于临界值的不相关和弱相关的属性被删除 产生初始目标类工作关系（或初始对比类工作关系） 使用AOI产生概念描述 使用一组不太保守的属性概化临界值进行AOI 解析特征化——示例 (1) 任务:使用解析特征化挖掘Big－University的研究生的一般特征描述 给定 属性name, gender, major, birth_place, birth_date, phone#和gpa Ui = 属性分析阀值 Ti = 属性概化阀值 R = 属性相关阀值 解析特征化——示例 (2) 1. 数据收集 目标类：研究生 对比类：本科生 2. 使用保守的阀值Ui和Ti进行AOI 属性删除 name和phone# 属性概化 概化major, birth_place, birth_date 和 gpa 进行累积计数 候选关系：gender, major, birth_country, age_range 和gpa 目标类候选关系：研究生(?=120) 对比类候选关系：本科生 (?=130) (可以在类比较时使用） 解析特征化——示例 (3) 3. 相关性分析 计算给定的样本分类所需要的期望信息 计算每个属性的熵: e.g. major Number of grad students in “Science” Number of undergrad students in “Science” 解析特征化——示例 (4) 如果样本根据major划分，则计算给定的样本进行分类所需的期望信息： 计算该属性的信息增益： 所有属性的信息增益 解析特征化——示例 (5) 4. 导出初始工作关系 R = 0.1 （临界值） 从候选关系中去处不相关/弱相关的属性 = 去处 gender, birth_country 因为类描述任务是类特征化，所以这里去处候选对比类关系 5. 在 W0 上用进行不保守的AOI 初始目标类工作关系 W0: 研究生 解析特征化——示例 (6) 挖掘类比较：区分不同的类 类比较挖掘的目标是得到将目标类与对比类相区分的描述。 目标类和对比类间必须具有可比性，即两者间要有相似的属性或维。 本科生 VS. 研究生；student VS. address 很多应用于概念描述的技巧可以应用于类比较，比如属性概化。 属性概化必须在所有比较类上同步进行，将属性概化到同一抽象层后进行比较。 City VS country 类比较的过程 数据收集 通过查询处理收集数据库中相关的数据，并将其划分为一个目标类和一个或多个对比类 维相关分析 使用属性相关分析方法，使我们的任务中仅包含强相关的维 同步概化 同步的在目标类和对比类上进行概化，得到主目标类 关系/方体 和 主对比类 关系/方体 导出比较的表示 用可视化技术表达类比较描述，通常会包含“对比”度量，反映目标类与对比类间的比较 (e.g count%) 类比较的有效实施 目标类和对比类的同步概化，以在相同抽象级别上进行类比较 使用数据立方体技术有效的实施类比较 引入一个标志位（数据立方体的一个新维）来表示目标类或对比类 目标类和对比类除了这个新维外，其他部分在数据立方体中的表示是相同的 通过上卷和下钻来同步概化或具体化 类比较挖掘——示例（1） 任务 比较Big-University本科生和研究生的一般特征 任务的DMQL描述 use Big_University_DB mine comparison as “grad_vs_undergrad_students” in relevance to name,