模式识别讲义-特征提取和特征选择.ppt

规范 模式识别 第八讲 特征选择与特征提取 回顾： 贝叶斯分类的原理 最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 正态分布情况下的贝叶斯分类 1、分类器的错误率 错误率是评价一个分类器的重要指标 错误率受分类决策方法、训练集、测试集和偶然因素的影响 分类错误是一个概率事件，错误率应由概率方式表达 Pe－－错误率 Ped(n)－－训练集上利用n个样本得到的错误率估计 Pet(n)－－测试集上利用n个样本得到的错误率估计 分类器的错误率 2、二类贝叶斯分类中的错误率 3、多类贝叶斯分类中的错误率 模式识别 第八讲 特征选择与特征提取 内容 基本概念 距离定义 特征提取算法 特征选择算法 一 基本概念 复习 （1）特征： 特征是从对应于一个模式类的所有信息中提取出来的，可以用来进行模式识别的部分属性。 特征可以是数值型的，也可以是非数值型的。 特征一定有确切的定义和表示方法。 （2）特征空间： 特征空间中的每一个点（每一种取值），都代表了一个模式。 特征空间中的一个区域，则代表了一个模式类。 特征： 颜色 形状 特征值： 颜色＝1.24 形状＝0.37 特征向量： x=[x1,x2] =[颜色,形状] 特征空间 一、基本概念 1、好的分类器： 特征具有良好的可分性 特征不要重复，去掉相关性高的特征 2、特征提取和特征选择的目的 降低特征维数，减少信息冗余 提高特征对类别的分辨能力 寻找对分类最重要的特征 3、特征提取 通过某种变换，将原始特征 从高维空间映射到低维空间。 T：ER=ED T为特征提取器，通常 是某种正交变换。 4、特征选择 从一组特征中挑选出一些最有效的特征的过程。 J(F*)=min J(F)，集合F包含d个特征，J（）是准则函数 w(y) w y1 y2 x2 ω1 ω2 一、基本概念 5、模式类别可分性的测度 （1）特征提取和特征选择准则 错误率是最佳的特征提取和特征选择准则函数，但难以计算。 可用的类别可分性测度标准应满足以下要求： 与错误率有单调关系 当特征独立时具有可加性 具有标量测度特性 对特征具单调性 一、基本概念 二、距离 （1）类内类间距离 二、距离 （1）类内类间距离 二、距离 （1）类内类间距离 二、距离 （2）概率距离 类间的概率距离可用分布函数之间的距离来度量 完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0； 完全不可分：对任意x，都有 p(x|ω1) ＝ p(x|ω2)； 二、距离 （2）概率距离 二、距离 （2）概率距离 几种常见的概率距离： Bhattacharyya(巴特查雅)距离 Chernoff(切诺夫)距离 二、距离 （2）概率距离 散度 似然比表达了两类之间的可分性，定义对数似然比为： 则可用两类间的平均对数似然比来作为概率距离，称为散度： 三、特征提取算法 1、使用类内类间距离进行特征提取类内类间距离 Jd=Jw+Jb＝tr（Sw＋Sb) 其中Jw是类内平均距离，Jb是类间平均距离 通常给定一个训练集后，Jd是固定的，因此，在特征提取时，需要加大Jb，减小Jw，来获得满意的分类效果。 因此，常使用以下准则： 假设对原始特征进行了提取（变换），如变换的参数使得准则函数取得了最大值，则是最优的特征选取。 三、特征提取算法 1、使用类内类间距离进行特征提取 以准则函数J2为例，说明如何求得最优提取变换： 三、特征提取算法 1、使用类内类间距离进行特征提取 例题 三、特征提取算法 2、使用概率距离进行特征提取 下面只对使用Chernoff概率距离进行介绍： 三、特征提取算法 2、使用概率距离进行特征提取 该方程在一般情况下无解析解，只有次优解析解。 在Σ1＝Σ2或μ1＝μ2，有最优解析解。 四、特征选择算法 从n个特征中挑选出m个最有效的特征，这就是特征选择的任务。 最直接的方法是根据专家的知识挑选那些对分类最有影响的特征。 另一种是用数学方法进行筛选比较，找出最有分类信息的特征。 规范