5-2特征提取K-L变换概览.pptVIP

类别可分离性判据 为什么需要类别可分离性判据 特征选择与特征提取的任务是求出一组对分类最有效的特征 所谓有效是指在特征维数减少到同等水平时，其分类性能最佳 因此需要有定量分析比较的方法, 判断所得到的特征维数及所使用特征是否对分类最有利 这种用以定量检验分类性能的准则称为 类别可分离性判据 为什么需要类别可分离性判据 一般说来分类器最基本的性能评估是其分类的错误率 如果能用反映错误率大小的准则，在理论上是最合适的 对错误率的计算是极其复杂的，以至于很难构筑直接基于错误率的判据 为此人们设法从另一些更直观的方法出发，设计出一些准则，用来检验不同的特征组合对分类性能好坏的影响，甚至用来导出特征选择与特征提取的方法 这些准则就是类别可分离性判据 8.3.3 特征提取方法小结 特征提取方法从其工作原理来看可以分成两大类 对样本在特征空间分布的距离度量 其基本思想是通过原有特征向量线性组合而成新的特征向量 做到既降维，又能尽可能体现类间分离，类内聚集的原则 对样本在特征空间分布的距离度量 在欧氏距离度量的条件下所提出的几种判据都是从这一点出发的 从概率分布的差异出发，制订出反映概率分布差异的判据，以此确定特征如何提取 这类判据由于与错误率之间可能存在单调或上界关系等，因此从错误率角度考虑有一定的合理性 但是使用这种方法需要有概率分布的知识，并且只是在概率分布具有简单形式时，计算才比较简便 从概率分布的差异出发，制订出反映概率分布差异的判据，以此确定特征如何提取 熵概念的运用是描述概率分布另一种有用的形式 利用熵原理构造的判据，进行特征提取 各个方法中都有一个共同的特点 即判别函数的极值往往演变为找有关距阵的特征值与特征向量，由相应的特征向量组成坐标系统的基向量 计算有关矩阵的特征值矩阵与特征向量，选择前d个大特征值，以它们相应的特征向量构成坐标系统 这是大部分特征提取方法的基本做法。 特征选择方法不相同 5.4 基于K-L变换的多类模式特征提取 对一类模式：维数压缩。 对多类模式：维数压缩，突出类别的可分性。 特征提取的目的： 卡洛南-洛伊（Karhunen-Loeve）变换（K-L变换）： * 一种常用的特征提取方法； * 最小均方误差意义下的最优正交变换； * 适用于任意的概率密度函数； * 在消除模式特征之间的相关性、突出差异性方面 有最优的效果。 离散K-L变换 连续K-L变换 分为： 1．K-L展开式 aj：随机系数； 用有限项估计X时 ： 引起的均方误差： 代入X、 ，利用 由 两边 左乘 得 。 uj为确定性向量 R：自相关矩阵。 ：拉格朗日乘数 说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为 因此，当用X的正交展开式中前d项估计X时，展开式中 的uj应当是前d个较大的特征值对应的特征向量。 K-L变换方法： 对R的特征值由大到小进行排队： 均方误差最小的X的近似式： 矩阵形式： 式中， ， 。 其中： （5-49） —— K-L展开式 对式(5-49)两边左乘U t ： —— K-L变换 系数向量a就是变换后的模式向量。 2．利用自相关矩阵的K-L变换进行特征提取 第一步：求样本集{X}的总体自相关矩阵R。 决定压缩 后的维数 3．不同散布矩阵的K-L变换 根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息 的效果不同。 多类类内散布矩阵： 若要突出各类模式的主要特征分量： 选用对应于大特征值的特征向量组成变换矩阵； 若要使同一类模式聚集于最小的特征空间范围： 选用对应于小特征值的特征向量组成变换矩阵。 类间散布矩阵： 适用于类间距离比类内距离大得多的多类问题，选择与大 特征值对应的特征向量组成变换矩阵。 总体散布矩阵： 把多类模式合并起来看成一个总体分布。 适合于多类模式在总体分布上具有良好的可分性的情况。采用大特征值对应的特征向量组成变换矩阵，能够保留模式原有分布的主要结构。 1）变换在均方误差最小的意义下使新样本集{X *}逼近原样本集 {X}的分布，既压缩了维数又保留了类别鉴别信息。 利用K-L变换进行特征提取的优点： 2）变换后的新模式向量各分量相对总体均值的方差等于原样本 集总