最佳鉴别矢量的提取.ppt

最佳鉴别矢量的提取 内容回顾 ? Fisher 线性判别就是要将目标的原始 n 维特征矢 量映射成一维的标量或二维的矢量。 ? 考虑把 d 维空间中的数据点投影到一条直线上去 的问题，需要解决的两个问题： (1) 怎样找到最好 的投影直线 方向 ； (2) 怎样向这个方向实现投影， 这个投影变换就是要寻求的解向量 w* 。这两个问 题就是 Fisher 方法要解决的基本问题。 Fisher 线性判别 Fisher 准则的基本原理： ? 分析 w 1 方向之所以比 w 2 方向优越，可以归纳出这样一个准则，即向 量 w 的方向选择应能使 两类样本投影的 均值之差尽可能大 些，而使 类内 样本的离散程度尽可能小 。这就是 Fisher 准则函数的基本思路。 ? Fisher 准则的基本原理，就是要 找到一个最合适的 投影轴， 使两类 样本在该轴上投影的 交迭部分最少 ，从而使分类效果为最佳。 Fisher 线性判别 最佳 W 值的确定： 对拉格朗日函数分别对 w 求偏导并置为 0 来求 w 的解。 ? 最佳 w 值的确定实际上就是对 Fisher 准则函数求取其达 极大值时的 。 ? 对于这个问题可以采用 拉格朗日乘子算法 解决，保持分母 为一非零常数 c 的条件下，求其分子项的极大值。 * w ( ) T b F T w w S w J w w S w ? 0 T w w S w= c ? 令 Lagrange : ( , ) ( ) T T b w L w w S w w S w c ? ? ? ? ? 定义 函数 ( , ) : 0 b w L w S w S w w ? ? ? ? ? ? ? 令 1 * * w b S S w w ? ? ? * * b w S w S w ? ? 这是一个求矩阵 的特征值问题 。 Fisher 鉴别矢量 最佳鉴别矢量的确定： 数值 R 1 * * w b S S w w ? ? ? T b 1 2 1 2 S =(m - m )(m - m ) * 1 * 1 * 1 2 1 2 ( ) T w b w w S S w S m - m )(m - m w ? ? ? ? ? 1 1 2 ( ) w S m m R ? ? ? 实际上我们关心的只是向量 的方向，其数值大小对分类器没有 影响。因此在忽略了数值因子 后，可得： * 1 1 2 ( ) w w S m m ? ? ? 上式 就是 Fisher 的最佳鉴别矢量 。 向量 就是使 Fisher 准则函数 达极大值的解，也就是 按 Fisher 准则将 d 维 X 空间投影到一维 Y 空间的最佳投影方向 ， 该向量 的各分量值是对原 d 维特征向量求加权和的权值。 Fisher 鉴别平面 ? 将高维模式映射成二维模式，需要两 个正交矢量，除了 Fisher 鉴别矢量 外，还需要第二个矢量 ， 2 u 1 u 2 1 2 2 2 2 u u u S u u S u W B ? ? ? max 最佳鉴别矢量集 ? Foley-Sammon 变换 设 是使 取最大的 Fisher 最佳鉴别矢量，其模长为 1 ，则单 位 Fisher 最佳鉴别矢量 是 F-S 最佳鉴别矢量集 中的 第一个矢量，该矢量集里的第 i 个鉴别矢量 则有解如下的优化问题 求得： 1 u ) ( i f u J ? ? r i u S i ,...., 2 , 1 ; ? ? i u 1 u ? ? ? ? ? ? ? 1 0 . . )] ( max[ i j i i f u u u t s u J 称为 Foley-Sammon 变换 ? 定义：设 A 是 n 阶对称阵 , B 是同阶的正定阵，称 的 根为 A 相对于 B 的特征值，而满足 的非零矢量 称为相应于 的 A 相对于 B 的特征矢量 定理：设 A 是 n 阶对称阵 ,B 是同阶的正定阵， 是 A 相对于 B 的第 大特征值， 是相应于 的 A 相对于 B 的特 征矢量，各特征矢量两两正交， c 为非零常数，则有： 0 ? ? B A ? ? ?