第6章 模式特征选择.pptVIP

4. 模式特征抽取和选择中的两个问题 困难性 迄今为止，所提出的模式特征和抽取方法都是面向问题的，也就是说，不同的模式识别问题（如字符识别，语音识别）可以有不同的特征抽取和选择方法，即使对同一模式识别问题，也可能用不同的方法。因此，找到特征抽取和选择的一般方法是比较困难的。 由于不是在任何情况下都能容易地抽取到最重要的特征，或由于条件限制而不能充分抽取特征，而使得特征的抽取和选择有时变得很困难。 2. 求最佳 举例：设二维样本 用K-L变换把特征空间降到一维。 解：根据协方差矩阵公式 先求均值向量 求本征值 得 对应的特征向量为 因为 ， 所以略去 降到一维的4个样本为 * * 第六章 模式特征的提取和选择 一. 特征抽取和选择的概念 特征抽取和选择的基本任务是研究如何从众多特征中找出那些对分类识别最有效的特征，进而实现特征空间维数的压缩。 1. 模式特征抽取 要进行模式识别，首先要对表征模式的各种特征进行测量，得到其量化值，然后把模式看成是高维空间的一个向量，即 获得特征原始测量的过程称为特征抽取。 2. 模式特征选择 从一组模式特征中选出一些最有效和最具代表性的特征，这个过程称为特征选择。 3. 模式特征抽取和选择的意义 前面三章所介绍的线性判别函数分类方法，Bayes分类方法，近邻分类方法和集群方法等都一直假定模式特征是已知的，通过n个特征所代表的模式向量，实现模式识别任务。 所抽取和选择的模式特征的优劣，对分类器的设计和性能有重要影响，直接影响分类器的构造和识别效果。因此，特征抽取和选择是模式识别中的一个关键问题。 特征的数量问题 当用一组特征已经无法区分模式类别时，自然会想到增加新的特征，那么，特征数量是不是越多越好呢？ 当特征数量不多时，增加特征数量，问题不大。 但是，当特征数量比较大，达到一定的数量之后，增加特征数量反而会使分类器的性能变坏。 产生这个问题的基本原因是用来设计分类器的样本数量是有限的。 那么可不可以在增加特征的同时，也增加样本数量呢？ 当用一定数量的样本估计出来的参数设计Bayes分类器时，随着特征数量的增加要求样本数急剧增加，这样才能保证一定的错误率。 在实际问题中，由于样本数是有限的，所以为了保证一定的错误率，就不能任意增加特征数。 那么怎么办好呢？ 在很多特征中选择一些更有效的特征来压缩模式特征向量的维数。 二. 离散的K-L变换 从n维特征选取m维特征，去掉的（n-m)维特征不一定就是无用的信息。如何在信息损失最小的情况下选取特征呢？ 离散的K-L变换又称主成分分析，是一种基于目标统计特性的最佳正交变换，被广泛应用于数据压缩，特征降维等方面。离散的K-L变换具有一些很好的性质： （1）可以使变换后所生成的新分量正交或不相关。 （2）用较少的新分量来表示原特征向量时，可达到均方误差最小。 离散的K-L变换方法 将连续随机实函数 用已知的正交函数集 的线性组合展开，有： 式中， 为展开式的系数。 为连续正交函数，它满足： 式中， 为 的共轭复数式。 若将连续随机函数 和正交函数 在 内等间隔取n个离散点，即 并写成向量形式 则有 的n项近似表达式，写为离散展开式： 特征选择：可看作是从原始的 维空间 到维数较低的 维特征空间 的一个映射。 通常用一个 维随机向量 来表示一个模式。若 则 就是一个选择出来的特征向量，这里 ， 是从 到 的映射。 对于映射 的要求是：若用 的分量来恢复原始模式时，不应使模式产生明显的畸变。 设 是一个 维的随机向量,则可以用下式展开为: 式中， 是 方阵, 是 维列向量。