(模式识别)Fisher线性判别.pptVIP

Fisher线性判别 线性判别函数y=g(x)=wTx: 样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在向量w上的投影 Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。 * Fisher线性判别图例 Fisher判别 x1 x2 w1 H: g=0 w2 Fisher准则的描述：用投影后数据的统计性质—均值和离散度的函数作为判别优劣的标准。 * d维空间样本分布的描述量 Fisher判别 各类样本均值向量mi 样本类内离散度矩阵Si与总类内离散度矩阵Sw 样本类间离散度矩阵Sb： 离散矩阵在形式上与协方差矩阵很相似，但协方差矩阵是一种期望值，而离散矩阵只是表示有限个样本在空间分布的离散程度 * 一维Y空间样本分布的描述量 Fisher判别 各类样本均值 样本类内离散度和总类内离散度 样本类间离散度 以上定义描述d维空间样本点到一向量投影的分散情况，因此也就是对某向量w的投影在w上的分布。样本离散度的定义与随机变量方差相类似 * 样本与其投影统计量间的关系 Fisher判别 样本x与其投影y的统计量之间的关系： * 样本与其投影统计量间的关系 Fisher判别 * Fisher准则函数 Fisher判别 评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求 Fisher准则函数的定义： Fisher最佳投影方向的求解 * Fisher最佳投影方向的求解 Fisher判别 采用拉格朗日乘子算法解决 m1-m2是一向量，对与(m1-m2)平行的向量投影可使两均值点的距离最远。但是如从使类间分得较开，同时又使类内密集程度较高这样一个综合指标来看，则需根据两类样本的分布离散程度对投影方向作相应的调整，这就体现在对m1-m2 向量按Sw-1作一线性变换，从而使Fisher准则函数达到极值点 * 判别函数的确定 前面讨论了使Fisher准则函数极大的d维向量w*的计算方法，判别函数中的另一项w0（阈值）可采用以下几种方法确定： 分类规则: Fisher判别 * Fisher公式的推导 Fisher判别