第7章 基于K—L变换的特征提取.ppt

第1章 绪论 第7章 基于K—L变换的特征提取 7.1　离散的卡洛南—洛伊(K—L)变换 7.2　采用K—L变换的分类特征提取 7.3　鉴别向量和鉴别平面 上一章讨论的特征选择是在一定的准则下从n个特征中选出m个来反映原来的模式，这种简单的删掉某个特征总是不十分理想的，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特性，简单的删掉可能会丢失较多的信息。这时，若将原来的特征作正交变换，获得的每个数据都是原来的n个数据的线性组合 ，然后从新的数据中选出少数几个，使它们尽可能多地反映各类模式之间的差异，又尽可能的相互独立，这比单纯的选择方法更灵活，效果更好，这就是将要介绍的K—L变换，它适用于任何的概率密度函数。 K—L变换实际上是一种最佳的特征压缩。 7.1 离散的卡洛南—洛伊（K—L）变换 THANK YOU VERY MUCH ！ 本章到此结束 下一章“非监督学习方法” 第7章 基于K—L变换的特征提取 返回本章首页 返回本章首页 设 是一个 维的随机向量，则它可以用下式无误差的展开： 返回本章首页 是线性独立的，其构成了包含 的 维空间，这些向量就是这个空间的一个基组。进一步它还满足以下性质： 假定我们只保留 向量的分量的一个子集 ， 就用这些分量估计出 。 返回本章首页 下面讨论最佳子集的选取 若用 的分量来恢复原始模式 ，不应使模式产生明显的畸变。实际上我们的任务就是要选择一个最佳的变换使得模式向量的维数降低后仍能保留模式的最重要的特征。若保留 ，不保留的用预先选定的常数来代替，这时对 的估计值为： 返回本章首页 注意到 和 都是随机向量，用的 均方误差作为选取 个特征的子集的有效性的判据，则 是 和 的函数，要使 最小，就是求使 取极小值的最佳的 和 的值。 对 的选择 返回本章首页 也就是说，对于省略掉的那些分量，应当用它们的期望值来代替。这时的均方误差 对 的最佳选择（ ） 实际上要在 的条件下，找出使 最小的 ，构造Lagrange函数： 返回本章首页 L极小的必要条件为 该式表示， 是协方差矩阵 的第 i 个本征值，而 是与 对应的本征向量。这时，最小均方误差为： 式中所选的 愈小，误差愈小。 从以上可以得出结论： 返回本章首页 （1）为使误差最小，不采用的本征向量，其对应的本征值应尽可能小。将本征值按大小次序标号，即 应首先采用前面的本征向量。这时的变换矩阵为 （2）K—L变换是在均方误差最小的意义下获得的数据压缩的最佳变换，它消除模式特征之间的相关性，突出其差异性，且不受模式分布的限制。 返回本章首页 例题7-1 两组二维空间的数据（a）（b）如图所示， 试用K—L变换来做一维的特征提取。 （a） （b） 返回本章首页 解：这两种情况下的期望向量 对于数据（a），有 对于数据（b），有 返回本章首页 计算协方差矩阵的本征值和本征向量： 对于数据（a）: 对于数据（b）: 返回本章首页 期末测试 1 试列举线性分类器中你所学过的最佳准则以及它们各自的原理。 2 试说明用监督学习与非监督学习两种方法对道路图像中道路区域 的划分的基本做法，以说明这两种学习方法的定义与它们间的区 别。 3 试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离 平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 4 已知一组数据的协方差矩阵为 试问（1）协方差矩阵中各元素的含义。（2）求该数组的两个主 分量。（3）主分量分析或称K-L变换，它的最佳准则是什么？ （4）为什么说经主分量分析后，消除了各分量之间的相关性。 返回本章首页 设有两类二维正态分布的样本基于最小错误率的贝叶斯决策分界面方程为 ，其中两类的协方差矩阵 先验概率 ，并且有 。试求： 之值。 考虑基于具有先验知识 和分布