数据挖掘系列讲座五、概念描述：特征化与比较分析.pptVIP

面向数据库的方法与机器学习的方法的差异 (2) 训练样本集大小上的差异 机器学习训练样本集小，容易找到覆盖所有正样本而不覆盖任何负样本的描述 面向数据库的方法通常面对大量数据，因此概念描述的目标是尽量的涵盖正面数据（概率分布） 所使用的概化方法不同 机器学习方法是逐个元组的进行概化 面向数据库的方法是逐个属性（或维）的进行概化，从而使得数据挖掘的过程能够与面向集合的数据库操作集成 * * * * * 先解释该表中的t-weight和d-weight 解析特征化——示例 (2) 1. 数据收集 目标类：研究生 对比类：本科生 2. 使用保守的阀值Ui和Ti进行AOI 属性删除 name和phone# 属性概化 概化major, birth_place, birth_date 和 gpa 进行累积计数 候选关系：gender, major, birth_country, age_range 和gpa 目标类候选关系：研究生(?=120) 对比类候选关系：本科生 (?=130) (可以在类比较时使用） 解析特征化——示例 (3) 3. 相关性分析 计算给定的样本分类所需要的期望信息 计算每个属性的熵: e.g. major Number of grad students in “Science” Number of undergrad students in “Science” 解析特征化——示例 (4) 如果样本根据major划分，则计算给定的样本进行分类所需的期望信息： 计算该属性的信息增益： 所有属性的信息增益 解析特征化——示例 (5) 4. 导出初始工作关系 R = 0.1 （临界值） 从候选关系中去处不相关/弱相关的属性 = 去处 gender, birth_country 因为类描述任务是类特征化，所以这里去处候选对比类关系 5. 在 W0 上用进行不保守的AOI 初始目标类工作关系 W0: 研究生 解析特征化——示例 (6) 挖掘类比较：区分不同的类 类比较挖掘的目标是得到将目标类与对比类相区分的描述。 目标类和对比类间必须具有可比性，即两者间要有相似的属性或维。 本科生 VS. 研究生；student VS. address 很多应用于概念描述的技巧可以应用于类比较，比如属性概化。 属性概化必须在所有比较类上同步进行，将属性概化到同一抽象层后进行比较。 City VS country 类比较的过程 数据收集 通过查询处理收集数据库中相关的数据，并将其划分为一个目标类和一个或多个对比类 维相关分析 使用属性相关分析方法，使我们的任务中仅包含强相关的维 同步概化 同步的在目标类和对比类上进行概化，得到主目标类 关系/方体 和 主对比类 关系/方体 导出比较的表示 用可视化技术表达类比较描述，通常会包含“对比”度量，反映目标类与对比类间的比较 (e.g count%) 类比较的有效实施 目标类和对比类的同步概化，以在相同抽象级别上进行类比较 使用数据立方体技术有效的实施类比较 引入一个标志位（数据立方体的一个新维）来表示目标类或对比类 目标类和对比类除了这个新维外，其他部分在数据立方体中的表示是相同的 通过上卷和下钻来同步概化或具体化 类比较挖掘——示例（1） 任务 比较Big-University本科生和研究生的一般特征 任务的DMQL描述 use Big_University_DB mine comparison as “grad_vs_undergrad_students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa for “graduate_students” where status in “graduate” versus “undergraduate_students” where status in “undergraduate” analyze count% from student 类比较挖掘——示例（2） 进行类比较挖掘的输入： 给定的属性：name, gender, major, birth_place, birth_date, residence, phone# and gpa 在属性ai上定义的概念分层 Gen(ai) 在属性ai上定义的属性分析临界值 Ui 在属性ai上定义的属性概化临界值Ti 属性相关性临界值R 类比较挖掘——示例（3） 任务的处理过程 数据收集 DMQL查询转化为关系查询，得到初始目标类工作关系和初始对比类工作关系 可以看成使构造数据立方体的过程 引入一个新维status来标志目标类和对比类（graduate, un