模式识别PR6-2.ppt

第1章 绪论 第6章 特征选择和特征提取 6.1　类别可分离性判据 6.2 特征提取 6.3　特征的选择 6.4 Karhunen-Loeve（K-L）变换 6.3 特征选择 前面讨论的特征选择是在一定的准则下从n个特征中选出m个来反映原来的模式，这种简单的删掉某个特征总是不十分理想的，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特性，简单的删掉可能会丢失较多的信息。这时，若将原来的特征作正交变换，获得的每个数据都是原来的n个数据的线性组合 ，然后从新的数据中选出少数几个，使它们尽可能多地反映各类模式之间的差异，又尽可能的相互独立，这比单纯的选择方法更灵活，效果更好，这就是将要介绍的K—L变换，它适用于任何的概率密度函数。 K—L变换实际上是一种最佳的特征压缩。 6.4 离散的Karhunen-Loeve（K-L）变换 第6章 特征抽取和选择 * 设在 D 个可用作分类的特征中，为在不降低分类精度的前提下，从中直接选出 d 个作为分类特征。解决两个问题 （1）选择的标准； （2）选择的算法； 选择的标准（分两种情况进行讨论 ） （1）对于独立特征的选择准则—基于距离的可分性判据 （2）一般特征的选择准则 1 离散度矩阵判据 2 散度和变换散度判据 选择的算法 分支定界搜索法 对于独立特征的选择准则—基于距离的可分性判据 类别可分性判据的一般性质： 对于基于距离的可分性判据来说 ，不同模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差和应最小。定义可分性判别函数 ——均值向量 在 k 维方向的分量 ——在 k 维方向的方差 按大小排列，选出开头最大的d个 作为特征向量，就达到了特征选择的目的。 上述的判据虽然简单，但其使用范围与模式特征的概率分布有关，几种特殊的情况： 一般特征的选择准则 由于特征分量之间的相关性，各分量单独判别并不能获得最优的选择结果。这时可采用类内类间的离散度矩阵、散度等可分性判据。 （1）离散度矩阵判据 类内： 类间： 总体： 离散度矩阵可分离性判据： 行列式 迹 （2）散度和变换散度 对于类概率密度为正态分布的两类问题，散度为 使 最大的子集，就是最适于分离 和 两类模式的特征。推广到 c 类，可以计算平均散度 选出平均散度为最大的子集作为 c 类的分类特征，是合理，但不是最优的。同时，若其中有一种类对的散度很大，就使平均散度显著偏离，因而掩盖了对散度小的那些类对的判别，这里引入变换散度来改善这种情况。 变换散度 平均变换散度 从图可以看出，当类对的散度很大，其变换散度最大也只能趋于100% ；对于散度小的情况，变换散度却比较敏感。因此，变换平均散度比平均散度有更可靠的可分性判别能力。同时 和 是单调的， 和 并不一定是单调的。 设 是一个 维的随机向量，则它可以用下式无误差的展开： 是线性独立的，其构成了包含 的 维空间，这些向量就是这个空间的一个基组。进一步它还满足以下性质： 假定我们只保留 向量的分量的一个子集 ， 就用这些分量估计出 。 下面讨论最佳子集的选取 若用 的分量来恢复原始模式 ，不应使模式产生明显的畸变。实际上我们的任务就是要选择一个最佳的变换使得模式向量的维数降低后仍能保留模式的最重要的特征。若保留 ，不保留的用预先选定的常数来代替，这时对 的估计值为： 注意到 和 都是随机向量，用的 均方误差作为选取 个特征的子集的有效性的判据，则 是 和 的函数，要使 最小，就是求使 取极小值的最佳的 和 的值。 对 的选择 也就是说，对于省略掉的那些分量，应当用它们的期望值来代替。这时的均方误差 对 的最佳选择（ ） 实际上要在 的条件下，找出使 最小的 ，构造Lagrange函数： L极小的必要条件为 该式表示， 是协方差矩阵 的第 i 个特征值，而 是与 对应的特征向量。这时，最小均方误差为： 式中所选的 愈小，误差愈小。 从以上可以得出结论：