第6章 特征的选择与提取.pptVIP

第1章 绪论 第6章 特征选择和特征提取 6.1　类别可分离性判据 6.2 特征提取 6.3　特征的选择 以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确。要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征。下面我们看一下本章中设计到的基本概念。 特征形成 根据被识别的对象产生出来的一组基本特征。 特征提取 在原始特征的维数很高的情况下，通过映射（或变换）的方法用低维空间来表示样本，这个过程叫特征提取。 特征选择 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，称为特征选择。 6.1 类别可分离性判据 6.2 特征提取 6.3 特征选择 THANK YOU VERY MUCH ！ 本章到此结束 下一章“基于K—L变换 的特征提取” 返回本章首页 习题讲解（P81） 习题3-1 解：极大似然估计 返回本章首页 Bayes估计 返回本章首页 习题讲解（P81） 习题3-4 求Bayes估计量 解：由样本集 求出样本联合分布 返回本章首页 的后验分布 Bayes估计量 返回本章首页 返回本章首页 返回本章首页 设在 D 个可用作分类的特征中，为在不降低分类精度的前提下，从中直接选出 d 个作为分类特征。解决两个问题 （1）选择的标准； （2）选择的算法； 选择的标准（分两种情况进行讨论 ） （1）对于独立特征的选择准则—基于距离的可分性判据 （2）一般特征的选择准则 1 离散度矩阵判据 2 散度和变换散度判据 选择的算法 分支定界搜索法 返回本章首页 对于独立特征的选择准则—基于距离的可分性判据 类别可分性判据的一般性质： 对于基于距离的可分性判据来说 ，不同模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差和应最小。定义可分性判别函数 返回本章首页 ——均值向量 在 k 维方向的分量 ——在 k 维方向的方差 按大小排列，选出开头最大的d个 作为特征向量，就达到了特征选择的目的。 上述的判据虽然简单，但其使用范围与模式特征的概率分布有关，几种特殊的情况。 返回本章首页 返回本章首页 一般特征的选择准则 由于特征分量之间的相关性，各分量单独判别并不能获得最优的选择结果。这时可采用类内类间的离散度矩阵、散度等可分性判据。 （1）离散度矩阵判据 类内： 类间： 总体： 离散度矩阵可分离性判据： 返回本章首页 （2）散度和变换散度 对于类概率密度为正态分布的两类问题，散度为 使 最大的子集，就是最适于分离 和 两类模式的特征。推广到 c 类，可以计算平均散度 选出平均散度为最大的子集作为 c 类的分类特征，是合理，但不是最优的。同时，若其中有一种类对的散度很大，就使平均散度显著偏离，因而掩盖了对散度小的那些类对的判别，这里引入变换散度来改善这种情况。 第6章 特征选择和特征提取 返回本章首页 返回本章首页 返回本章首页 返回本章首页 我们可以依据某种准则进行特征提取和选择，为此，应当首先构造这样的准则——类别可分离性判据。这些判据应能反映各类在特征空间中的分布情况，应能刻画各特征分量在分类识别中的重要性或贡献。 1 类别可分离性判据满足的要求 （1）与错误概率（或其的上下界）有单调关系； （2）当特征独立时有可加性 返回本章首页 （3）具有“距离”的某些特性，即 （4）对特征数目是单调不减，即加入新的特征后，判据值不减。 这里指出，所构造的可分离性判据并不一定同时具有上述的四个性质，但这并不影响它在实际使用中的性质。 下面对几种常用的判据进行讨论。 返回本章首页 2 用于可分离性判据的类内类间距离 我们说，各类样本可以分开是因为它们位于特征空间中的不同的区域，显然这些区域之间的距离越大类别可分离性就越大。 两个类区 和 之间的平均距离 多类情况下，各类之间的平均距离 返回本章首页 定义第 i 类样本集的均值向量 所有各类的样本集总平均向量 各类之间的平均距离