数据挖掘4章挖掘原语，语言和体系结构PPT.pptVIP

特征化和比较 什么是概念描述? 数据概化和基于汇总的特征化 分析特征化: 分析属性之间的关联性 挖掘类比较:获取不同类之间的不同处 在大型数据库中挖掘描述统计度量 讨论 总结 挖掘数据散布特征 动机 更好的了解数据: 集中趋势, 差别 和 分布 数据散布特征 median, max, min, quantiles, outliers, variance, 等. 衡量中心趋势 平均值 带权平均 中位数: 一个整体度量 如果是奇数，则为中间数，偶数则为中间两数的平均 用插值的方法进行估计 模 出现次数最多的值 Unimodal, bimodal, trimodal Empirical formula: 衡量离散趋势 四分位数, 异常 和 盒图 四分位数: Q1 (25th percentile), Q3 (75th percentile) 中间四分位区间: IQR = Q3 – Q1 五数概括: min, Q1, M, Q3, max 盒图: ends of the box are the quartiles, median is marked, whiskers, and plot outlier individually 异常: usually, a value higher/lower than 1.5 x IQR 方差和标准差 Variance s2: (algebraic, scalable computation) Standard deviation s is the square root of variance s2 盒图分析 五数概括: Minimum, Q1, M, Q3, Maximum 盒图 数据用盒子的形式表现 盒子的两端分别是两个分位数， i.e., the height of the box is IRQ 中位数用一条线来表示。 延长线: 从盒子延长到最大和最小值 OLAP方法 在数据立方体上进行计算和存储结果 优点 效率高 能够计算多种汇总 如：count,average,sum,min,max 还可以使用roll-down和roll-up操作 限制 只能处理非数值化数据和数值数据的简单汇总。 只能分析，不能自动的选择哪些字段和相应的概念层次 面向属性的归纳 KDD Workshop(89)中提出 不限制于种类字段和特定的汇总方法 方法介绍： 使用SQL等收集相关数据 通过数据属性值删除和属性值概化来实现概化 聚集通过合并相等的广义元组，并累计他们对应的计数值进行 和使用者之间交互式的呈现方式. 基本方法 数据聚焦:选择和当前分析相关的数据，包括维。 属性删除: 如果某个属性包含大量不同值，但是 1)在该属性上没有概化操作， 或者2）它的较高层概念用其它属性表示。 属性概化:如果某个属性包含大量不同值，同时在该属性上有概化操作符，则运用该操作符进行概化。 属性阈值控制: typical 2-8, specified/default. 概化关系阈值控制: 控制最终关系的大小 基本算法 InitialRel: 得到相关数据，形成初始关系表 PreGen: 通过统计不同属性的含有的不同值的个数决定是丢弃该属性还是对其进行汇总。 PrimeGen:根据上一步的计算结果，对属性概化到相应的层次，计算汇总值，得到主概化关系。 结果的表示:概化关系、交叉表、3D立方体 示例 DMQL: use Big_University_DB mine characteristics as “Science_Students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in “graduate” 相应的SQL: Select name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in {“Msc”, “MBA”, “PhD” } 类特征化：示例 Prime Generalized Relation Initial Relation 概化结果的表示 概化关系: 一个表格，其中有属性字段，后附汇总方法。 交叉表: 二维交叉表 可视化方法: Pie charts, bar charts, curves, cubes, and other visual forms. 量化特征规则: (上表与136页例4.26) 表达方式-概化关系(133页例4.22) 表