概念系统描述—特征化与比较.pptVIP

概念系统描述—特征化与比较 什么是概念描述? 概念描述 : 特征化: 提供给定数据的简洁汇总 比较: 提供两个或多个数据汇集的比较描述 概念描述与OLAP的比较 概念描述: 能处理复杂数据类型的属性和它们的聚集 更加自动运行 OLAP: 简单的数据分析模型 用户控制运行 数据概化和基于汇总的特征化 数据概化 是一个将大的任务相关的数据集从较低的概念层抽象到较高的概念层 方法: 数据立方体方法 面向属性的归纳方法 1 2 3 4 5 概念上的层次 面向属性归纳 1989年首次提出 基本思想 使用关系数据库查询收集相关的数据 考察数据每个属性的不同值的个数,进行概化 概化可以通过属性删除，或者属性概化进行 与用户交互. 例子 DMQL: 描述了大学数据库毕业学生的情况 use Big_University_DB mine characteristics as “Science_Students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in “graduate” 对应 SQL 语句: Select name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in {“Msc”, “MBA”, “PhD” } 类描述:一个例子 Prime Generalized Relation Initial Relation 导出概化的表示 交叉表: 直接将数据立方体结构影射到交叉表 条形图,饼图,曲线 量化特征规则: 将概化结果影射成量化特征规则 表达---概化关系 交叉表 属性相关分析 为什么? 哪些维要包含进来? 概化到哪个层次? 自动化和交互性 减少属性,提供容易理解的模式 什么? 对预处理数据的统计方法 适当和维与层次关联 概化分析和比较分析 属性相关分析 如何分析? 收集数据 概化分析 相关性分析 选择最相关的维和层次 面向属性归纳的类描述 在选择的维和层次上 OLAP 操作(如上钻，下卷) 熵与信息增益 S 包含 si 个 Ci 类样本 i = {1, …, m} 值为{a1,a2,…,av}，属性为A的熵 A上该划分的获得的信息增益定义为 解析特征化:一个例子 Candidate relation for Target class: Graduate students (?=120) 对比类关系:未毕业学生 (?=130) 3. 相关分析 计算分类需要的相关信息 计算每个属性的熵:如 major Number of grad students in “Science” Number of undergrad students in “Science” 如果S根据属性划分,计算所要的信息 计算每个属性的信息增益 每个属性的信息增益 挖掘类比较 比较：比较两个或者两个以上的类. 方法： 将相关的数据集划分成一个目标类和一个或多个比较类 将所有的类概化到相同的层次 比较相同层次的描述 每个类提供它的描述和两个度量 相关分析： 寻找最好区别两个类的属性 例子:比较分析 任务 运用判别规则区分毕业学生和未毕业学生. DMQL 查询 use Big_University_DB mine comparison as “grad_vs_undergrad_students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa for “graduate_students” where status in “graduate” versus “undergraduate_students” where status in “undergraduate” analyze count% from student 目标类: Graduate students 比较类: Undergraduate students 量化区分规则 Cj = target class qa = 覆盖目标类的某些元组 d-weight 范围: [0, 1] 量化区分规则的形式： 例子：量化区分规则 量化区分规则 where 90/(90+120) = 30% 计算 graduate and undergraduate st