第6章 模式特征选择.pptVIP

第1页，共24页，星期日，2025年，2月5日2.模式特征选择从一组模式特征中选出一些最有效和最具代表性的特征，这个过程称为特征选择。3.模式特征抽取和选择的意义前面三章所介绍的线性判别函数分类方法，Bayes分类方法，近邻分类方法和集群方法等都一直假定模式特征是已知的，通过n个特征所代表的模式向量，实现模式识别任务。所抽取和选择的模式特征的优劣，对分类器的设计和性能有重要影响，直接影响分类器的构造和识别效果。因此，特征抽取和选择是模式识别中的一个关键问题。第2页，共24页，星期日，2025年，2月5日4.模式特征抽取和选择中的两个问题困难性迄今为止，所提出的模式特征和抽取方法都是面向问题的，也就是说，不同的模式识别问题（如字符识别，语音识别）可以有不同的特征抽取和选择方法，即使对同一模式识别问题，也可能用不同的方法。因此，找到特征抽取和选择的一般方法是比较困难的。由于不是在任何情况下都能容易地抽取到最重要的特征，或由于条件限制而不能充分抽取特征，而使得特征的抽取和选择有时变得很困难。第3页，共24页，星期日，2025年，2月5日特征的数量问题当用一组特征已经无法区分模式类别时，自然会想到增加新的特征，那么，特征数量是不是越多越好呢？当特征数量不多时，增加特征数量，问题不大。但是，当特征数量比较大，达到一定的数量之后，增加特征数量反而会使分类器的性能变坏。产生这个问题的基本原因是用来设计分类器的样本数量是有限的。那么可不可以在增加特征的同时，也增加样本数量呢？第4页，共24页，星期日，2025年，2月5日当用一定数量的样本估计出来的参数设计Bayes分类器时，随着特征数量的增加要求样本数急剧增加，这样才能保证一定的错误率。在实际问题中，由于样本数是有限的，所以为了保证一定的错误率，就不能任意增加特征数。那么怎么办好呢？在很多特征中选择一些更有效的特征来压缩模式特征向量的维数。第5页，共24页，星期日，2025年，2月5日二.离散的K-L变换从n维特征选取m维特征，去掉的（n-m)维特征不一定就是无用的信息。如何在信息损失最小的情况下选取特征呢？离散的K-L变换又称主成分分析，是一种基于目标统计特性的最佳正交变换，被广泛应用于数据压缩，特征降维等方面。离散的K-L变换具有一些很好的性质：（1）可以使变换后所生成的新分量正交或不相关。（2）用较少的新分量来表示原特征向量时，可达到均方误差最小。第6页，共24页，星期日，2025年，2月5日离散的K-L变换方法将连续随机实函数用已知的正交函数集的线性组合展开，有：式中，为展开式的系数。为连续正交函数，它满足：式中，为的共轭复数式。第7页，共24页，星期日，2025年，2月5日若将连续随机函数和正交函数在内等间隔取n个离散点，即并写成向量形式则有的n项近似表达式，写为离散展开式：第8页，共24页，星期日，2025年，2月5日特征选择：可看作是从原始的维空间到维数较低的维特征空间的一个映射。通常用一个维随机向量来表示一个模式。若则就是一个选择出来的特征向量，这里，是从到的映射。对于映射的要求是：若用的分量来恢复原始模式时，不应使模式产生明显的畸变。第9页，共24页，星期日，2025年，2月5日设是一个维的随机向量,则可以用下式展开为:式中，是方阵,是维列向量。第10页，共24页，星期日，2025年，2月5日i=1,i=2,i=n,相加，有第11页，共24页，星期日，2025年，2月5日