概念系统描述—特征化与比较.pptVIP

第五章 概念描述:特征化与比较 什么是概念描述? 数据概化和基于汇总的特征化 解析特征化:属性相关分析 挖掘类比较:区分不同的类 在大型数据库中挖掘描述统计度量 讨论 小结 什么是概念描述? 概念描述 : 特征化: 提供给定数据的简洁汇总 比较: 提供两个或多个数据汇集的比较描述 概念描述与OLAP的比较 概念描述: 能处理复杂数据类型的属性和它们的聚集 更加自动运行 OLAP: 简单的数据分析模型 用户控制运行 数据概化和基于汇总的特征化 数据概化 是一个将大的任务相关的数据集从较低的概念层抽象到较高的概念层 方法: 数据立方体方法 面向属性的归纳方法 面向属性归纳 1989年首次提出 基本思想 使用关系数据库查询收集相关的数据 考察数据每个属性的不同值的个数,进行概化 概化可以通过属性删除，或者属性概化进行 与用户交互. 例子 DMQL: 描述了大学数据库毕业学生的情况 use Big_University_DB mine characteristics as “Science_Students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in “graduate” 对应 SQL 语句: Select name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in {“Msc”, “MBA”, “PhD” } 类描述:一个例子 导出概化的表示 交叉表: 直接将数据立方体结构影射到交叉表 条形图,饼图,曲线 量化特征规则: 将概化结果影射成量化特征规则 表达---概化关系 交叉表 属性相关分析 为什么? 哪些维要包含进来? 概化到哪个层次? 自动化和交互性 减少属性,提供容易理解的模式 什么? 对预处理数据的统计方法 适当和维与层次关联 概化分析和比较分析 属性相关分析 如何分析? 收集数据 概化分析 相关性分析 选择最相关的维和层次 面向属性归纳的类描述 在选择的维和层次上 OLAP 操作(如上钻，下卷) 熵与信息增益 S 包含 si 个 Ci 类样本 i = {1, …, m} 值为{a1,a2,…,av}，属性为A的熵 A上该划分的获得的信息增益定义为 解析特征化:一个例子 3. 相关分析 计算分类需要的相关信息 计算每个属性的熵:如 major 如果S根据属性划分,计算所要的信息 计算每个属性的信息增益 每个属性的信息增益 挖掘类比较 比较：比较两个或者两个以上的类. 方法： 将相关的数据集划分成一个目标类和一个或多个比较类 将所有的类概化到相同的层次 比较相同层次的描述 每个类提供它的描述和两个度量 相关分析： 寻找最好区别两个类的属性 例子:比较分析 任务 运用判别规则区分毕业学生和未毕业学生. DMQL 查询 量化区分规则 Cj = target class qa = 覆盖目标类的某些元组 d-weight 范围: [0, 1] 量化区分规则的形式： 例子：量化区分规则 量化区分规则 where 90/(90+120) = 30% 类描述 量化特征规则 必要条件 量化比较规则 充分条件 量化描述规则 充分必要条件 例子：量化描述规则 目标类欧洲的量化描述规则 度量数据的离散度 动机 更好的理解数据:度量中心趋势，度量离散度等 数据差量特征 中值,最大值,最小值，分位数，变异数 多粒度精度分析 有序的间隔进行分位数分析 在计算度量上进行离散度分析 计算中心趋势 平均数 算术平均数 加权平均数 中值 模 某个值在数据里面具有最高的频率 数据离散度的计算 四分位数,盒图 四分位数: Q1 (25th 百分位数), Q3 (75th百分位数) 中间四分位数区间: IQR = Q3 – Q1 五数概括: min, Q1, M, Q3, max 盒图:盒的端点在四分位数上，中位数用盒内的线标记,盒外的两条线延伸到最小和最大观测值 Boxplot Analysis Five-number summary of a distribution: Minimum, Q1, M, Q3, Maximum Boxplot Data is represented with a box The ends of the box are at the first