第4讲 概念描述：特征化及比较.pptVIP

类描述：特征化和比较的表示 类特征化和类比较是形成类描述的两个方面，我们可以通过综合类特征化规则和类区分规则来形成类描述规则。 量化特征化规则 必要条件 量化区分规则 充分条件 量化描述规则 充要条件 量化描述规则——示例 对于上述交叉表，可以直接用量化描述规则来表示 表明对99年AllElectronics公司的TV和计算机销售，如果一商品在欧洲售出，则其为TV的概率为25％…该公司40％的TV在欧洲售出… 在大型数据库中挖掘描述统计计量 对于数据挖掘任务，用户经常关心的数据特征包括数据的中心趋势和离散特征 中心趋势的度量包括：mean, median, mode 和 midrange 数据离散度量包括：quartiles, outliers, variance 和其他度量 关系数据库中，系统提供了以下聚集函数：count(), sum(), avg(), max(), min() 在大型数据库中挖掘用户感兴趣的描述统计计量涉及到如何利用关系数据库现有的函数来计算上述两类用户感兴趣的度量值 度量中心趋势 算术平均值 加权算术平均 中位值：使用一个近似的计算来度量 如果值的个数n是奇数，则中位数(median)是有序集合的中间值，否则它是中间两个数的平均值 用插值法(interpolation)来近似计算 模(mode) 表示数据集中出现频率最高的值 单模态、双模态、三模态、多模态和没有模的情况 单模态近似值计算的经验公式: 中列数：最大值和最小值的平均 度量数据的离散度 （1） 最常用度量：五数概括（基于四分位数）、中间四分位数区间和标准差 四分位数、孤立点和盒图 百分位数(percentile)：第k个百分位数是具有如下性质的值x：数据项的k%在x上或低于x 四分位数：Q1 (25th percentile), Q3 (75th percentile) 中间四分位数区间(IQR)： IQR = Q3 – Q1 对倾斜分布的描述，除了IQR还常需两个四分位数Q1和Q3，以及中位数M，一个识别孤立点的常用规则是：挑出落在至少高于第三个四分位数或低于第一个四分位数 1.5×IQR处的值 度量数据的离散度 （2） 五数概括: min, Q1, M, Q3, max 盒图：数据分布的一种直观表示。 方差和标准差 方差s2：n个观测之x1,x2...xn的方差是 标准差s是方差s2的平方根 s是关于平均值的离散的度量，因此仅当选平均值做中心度量时使用 所有观测值相同则 s＝0，否则 s0 方差和标准差都是代数度量 盒图——示例 在盒图中： 端点在四分位数上，使得盒图的长度是IQR 中位数M用盒内的线标记 胡须延伸到最大最小观测值 该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图 分店1 中位数$80 Q1: $60 Q3: $100 使用盒图的数据离散的可视化描述 基本统计类描述的图形显示——直方图 常用的显示数据汇总和分布的方法： 直方图、分位数图、q-q图、散布图和局部回归曲线 直方图 一种单变量图形方法 由一组矩形组成，这些矩形反映类在给定数据中出现的技术或频率 概念描述：面向数据库的方法与机器学习的方法比较 面向数据库的方法：使用基于数据立方体和面向属性的归纳的概念描述的概化方法 机器学习：使用示例学习的范例，在概念集或标定训练样本集上进行，通过检验这些集合在学习中导出关于描述类的假定 两者的差异 所用的基本原理不同，关于概念描述的基本假定也不同 在示例学习的范例中，分析样本划分为两个集合：正样本和负样本，正样本用于概化，负样本用于特化 在面向数据库的方法中，只存在正样本，因此大部分面向数据库的方法都是基于概化的（使用该方法时，下钻操作用于回溯到前一状态的概化过程） 面向数据库的方法与机器学习的方法的差异 两者的差异(cnt’d) 训练样本集大小上的差异 机器学习训练样本集小，容易找到覆盖所有正样本而不覆盖任何负样本的描述 面向数据库的方法通常面对大量数据，因此概念描述的目标是尽量的涵盖正面数据（概率分布） 所使用的概化方法不同 机器学习方法是逐个元组的进行概化 面向数据库的方法是逐个属性（或维）的进行概化，从而使得数据挖掘的过程能够与面向集合的数据库操作集成 概念描述的增量挖掘和并行挖掘 增量挖掘：根据数据库中新增的数据?DB来修正挖掘的结果，而不是重新从修正过的数据库中进行挖掘而得到结果 在?DB上使用面向属性的归纳，将属性概化到与概化关系R的对应属性相同的概念层来得到?R 合并R和?R : 通过合并（union操作）count，sum等统计信息来得到一个新的概化关系R 同样的思想可以用来研