fisher算法及其matlab实现-（最新版）.pdfVIP

Fisher 判别法讲解以及 matlab 代码实现 两类的线形判别问题可以看作是把所有样本都投影到一个方向上， 然后在这 个一维空间中确定一个分类的阈值。 过这个预置点且与投影方向垂直的超平面就 是两类的分类面。 第一个问题，如何确定投影方向 这里只讨论两类分类的问题 . 训练样本集是 X={x1,x2...xn}, 每个样本是一个 d 1 1 1 2 2 2 维向量，其中第一类 w1={ x1 ， x2 ... xn1 }, 第二类 w2={ x1 ， x2 ... xn 2 } 。 我们要寻求一个投影方向 w （w 也是一个 d 维向量），投影以后样本变成： T y = w x (y 是一个标量 ) ，i=1...n i i 在原样本空间中，类均值为： 1 m x i j i=1,2( 一共两类的均值 ) ni x j wi （ps. m i 是一个 d*1 的矩阵，假设每个维度是一个变量值， mi 中的每一维度就 是这些变量值的均值，如下图所示 : 图 1 特别注明： 有些例子给的矩阵是这样的： 图 2 这里的单个样本是 1*d 的矩阵，要注意计算的时候将其转置，不然套用 fisher 算法公式的时候就会发现最后得到的矩阵维数不对。 定义各类 类内的离散度矩阵 为： （类内离散度矩阵其实就是 类协方差矩阵 ，类在 多于一个样本，且样本维度 1 时是一个矩阵） T S ( x m )(x m ) i j i j i x j wi xj m （因为， 是一个 d*1 的矩阵，也可称作 d 维向量， i 也是一个 d*1 的矩阵， S 所以最后得到的 i 一定是一个 d*d 的矩阵） （在用matlab 计算的时候直接用 cov （wi ）即可得到想要的协方差矩阵，故直 接计算不探究细节时图 2 可直接 cov 算协方差， 不用根据公式转置来转置去， 不 S 过 matlab 中算的协方差被缩小了（ n1-1 ）倍，计算时 i =cov （w1）* （n1-1 ）） 总的类内离散度矩阵： S S S w 1 2 类间离散度矩阵定义为： T S (m m )( m m ) b 1 2 1 2 在投影以后的一维空间里，两类的均值分别是； 1 1 T T m y w x w m ii i