最佳鉴别矢量的提取讲解.ppt

最佳鉴别矢量的提取 内容回顾 Fisher线性判别就是要将目标的原始n维特征矢量映射成一维的标量或二维的矢量。 考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变换就是要寻求的解向量w*。这两个问题就是Fisher方法要解决的基本问题。 Fisher鉴别平面 将高维模式映射成二维模式，需要两个正交矢量，除了Fisher鉴别矢量 外，还需要第二个矢量 ， 最佳鉴别矢量集 Foley-Sammon变换 定义：设A是n阶对称阵, B是同阶的正定阵，称 的根为A相对于B的特征值，而满足 的非零矢量 称为相应于 的A相对于B的特征矢量 如果 是非奇异的，第一个鉴别矢量 是 的最大特征值所对应的单位特征矢量。当有大量的样本时， 是非奇异的。 在许多实际应用中，训练样本数可能比特征空间维数小， 此时 , 是奇异的，例如，图像识别、医学应用等高维识别问题，特征维数很高以致于不易的到足够多的样本使其非奇异。 广义最佳鉴别矢量集及其求解途径 设 表示广义最佳鉴别矢量集， 中的每个矢量都可用如下方法逐步获得： 对于子空间 的正交补空间 中的每个单位矢量 ，能够成下面的线性变换： 求解 中的 使 最大化，这意味着： * * Fisher线性判别 Fisher准则的基本原理： 分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。 Fisher准则的基本原理，就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。 Fisher线性判别 最佳W值的确定： 对拉格朗日函数分别对w求偏导并置为0来求w的解。 最佳w值的确定实际上就是对Fisher准则函数求取其达极大值时的 。 对于这个问题可以采用拉格朗日乘子算法解决，保持分母为一非零常数c的条件下，求其分子项的极大值。 这是一个求矩阵 的特征值问题。 Fisher鉴别矢量 最佳鉴别矢量的确定： 数值R 实际上我们关心的只是向量 的方向，其数值大小对分类器没有影响。因此在忽略了数值因子 后，可得： 上式 就是Fisher的最佳鉴别矢量。 向量 就是使Fisher准则函数 达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量 的各分量值是对原d维特征向量求加权和的权值。 设 是使 取最大的Fisher最佳鉴别矢量，其模长为1，则单位Fisher最佳鉴别矢量 是F-S最佳鉴别矢量集 中的第一个矢量，该矢量集里的第 i 个鉴别矢量 则有解如下的优化问题求得： 称为Foley-Sammon变换 定理：设A是n阶对称阵,B是同阶的正定阵， 是A相对于B的第 大特征值， 是相应于 的A相对于B的特征矢量，各特征矢量两两正交，c为非零常数，则有： 因此，求解上述的优化问题就能表示成解如下方程的广义特征矢量问题 广义最佳鉴别矢量集 为了克服 的奇异性，我们将采取等价的准则函数的最优变化方法。 （1） 是n维空间中使Fisher准则函数 最大的单位矢量，显然 ， 是F-S最佳鉴别矢量集的第一个鉴别矢量。 （2）第i个广义最佳鉴别矢量 通过解如下最优化问题求得： 令 ， 则变换 称为广义最佳线性变换（GOLT），这个变换可用于特征提取 设样本集 通过上式变成 ， 的类间与类内均方距离之比为： 其中， 样本集 投影到子空间 所得到的变换后的 有最大的类间距离和最小的类内距