第12讲特征提取和选择.pptxVIP

第5章 特征提取和选择; 在模式识别领域，特征的提取与选择是最关键的问题之一，同时也是最困难的问题之一。不同的模式识别应用，需要采用不同的特征提取与选择方法。 对于 实际的模式识别问题，以人脸识别为例，一开始的原始特征可能很多，如在人脸数据库中，每幅图像的分辨率为112?92，即高达10304维。若把所有的原始特征都作为分类特征送到分类器，不仅使得分类器复杂，分类判别计算量大，而且分类错误概率也不一定小；原始特征的特征空间有很大的冗余，完全可以用很小的空间相当好地近似表示图像，这一点与压缩的思想类似。因此有必要减少特征数目，以获取“少而精”的分类特征，即获取特征数目少且能使分类错误概率小的特征向量。 模式识别中减少特征数目(或压缩特征空间)的方法有两种：一种是特征提取，另一种是特征选择。;在模式识别系统中， 确定分类和学习过程所使用的特征是非常重要的一个环节，获得对分类最有效的特征，同时尽最大可能减少特征维数，是特征选取的主要任务。 特征选取可以分成原始特诊的采集和转换、有效特征的生成两个步骤。; 原始特征：通过直接测量得到的特征称为原始特征。比如人体的各种生理指标（描述其健康状况）；数字图像中的每点灰度值（以描述图像内容），都是原始特征。 特征提取：通过映射(变换)的方法把高维的特征向量变换为低维的特征向量。 通过特征提取获得的特征是原始特征集的某种组合，即A:X→Y，可见新的特征中包含有原有全体特征的信息。 特征选择：从原始特征中挑选出一些最有代表性、分类性能好的特征以达到降低特征空间维数的目的。 也就是说，特征选择就是从已有的D个原始特征中挑选出d个特征组成一个特征子集，同时将D-d个对类别可分离性无贡献的或贡献不大的特征简单地忽略掉。; 特征提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征提取方法。 ??如： ?用傅立叶变换或小波变换的系数作为图像的特征； ???用PCA方法作特征压缩； ???用LDA（线性判别分析，Linear Discriminant Analysis）方法作特征压缩。 ;5.2 基本概念;(2) 类内稳定 选择的特征对同一类应具有稳定性。 由于模式类是由具有相似特性的若干个模式构成的, 因此它们同属一类模式, 其首要前提是特性相似, 反映在取值上, 就应该有较好的稳定性。;(1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。;3.特征的类别 特征是用于描述模式性质的一种量，从形式上看可以分为三类：  　(1)物理特征 　　 物理特征是比较直接、人们容易感知的特征，一般在设计模式识别系统时容易被选用。 如为了描述指定班级中的某个学生，可以用以下物理特征：性别、 身高、 胖瘦、 肤色等外在特征。 物理特征虽然容易感知, 却未必能非常有效地表征分类对象。;(2) 结构特征 　　结构特征的表达能力一般要高于物理特征，如汉字识别的成功实现离不开结构特征的选择。 结构特征的表达是先将观察对象分割成若干个基本构成要素，再确定基本要素间的相互连接关系。 ;(3) 数字特征 　　一般来说，数字特征是为了表征观察对象而设立的特征，如给每个学生设立一个学号，作为标志每个学生的特征。 由于学号是人为设定的，可保证唯一性，但这种特征是抽象的，不容易被人感知。 数字特征有时和观察对象的固有特性没有任何联系，有时则是物理特征或结构特征的计算结果。;4.特征的形成 在设计一个具体的模式识别系统时，往往是先接触一些训练样本，由领域专家和系统工程师联合研究模式类所包含的特征信息，并给出相应的表述方法。 这一阶段的主要目标是获取尽可能多的表述特征。 在这些特征中，有些可能满足类内稳定、 类间离散的要求，有的则可能不满足， 不能作为分类的依据。 根据样例分析得到一组表述观察对象的特征值，而不论特征是否实用，称这一步为特征形成，得到的特征称为原始特征。 ;　　在这些原始特征中，有的特征对分类有效，有的则不起什么作用。 若在得到一组原始特征后，不加筛选， 全部用于分类函数确定，则有可能存在无效特征，这既增加了分类决策的复杂度，又不能明显改善分类器的性能。 为此，需要对原始特征集进行处理，去除对分类作用不大的特征，从而可以在保证性能的前提下，通过降低特征空间的维数来减少分类方法的复杂度。 ;　　实现上述目的的方法有两种： 特征提取和特征选择。 特征提取和特征选择