判别的分析中Fisher判别法应用.doc

1 绪 论 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。；，，， 不各类在 ， (2.5-2) 通过变换， (2.5-3) 映射后，各类样本“类内离散度”定义为： ， (.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数： (2.5-5) 使最大的解 从的表达式可知，它并非 已知：，, 依次代入(.5-1)和(.5-2)，有： ， (2.5-6) 所以： (2.5-7) 其中： (2.5-8) 是原维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，越大越容易区分。 将(.5-6)和(.5-2)代入(.5-4)式中： (.5-9) 其中：， (.5-10) 因此： (.5-11) 显然： (.5-12) 称为原维特征空间里，样本“类内离散度”矩阵。 是样本“类内总离散度”矩阵。 为了便于分类，显然越小越好，也就是越小越好。 将上述的所有推导结果代入表达式： 可以得到： 其中，是一个比例因子，不影响的方向，可以删除，从而得到最后解： (.5-18) 就使取得最大值，可使样本由维空间向一维空间映射，其投影方向最好。是一个Fisher线性判断式。 ???这个向量指出了相对于Fisher准则函数最好的投影线方向。 由Fisher线性判别式求解向量的步骤： ① 把来自两类的训练样本集分成和两个子集和。 ② 由，，计算。 ③ 由计算各类的类内离散度矩阵，。 ④ 计算类内总离散度矩阵。 ⑤ 计算的逆矩阵。 ⑥ 由求解。 应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。 如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量本实验通过编制程序体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。 标准化的典型判别式函数系数 函数 1 城镇居民家庭总收入 2.940 工资性收入 -1.892 经营性收入 .943 财产性收入 -1.322 转移性收入 -.112 分类函数系数 组别 城镇居民家庭总收入 .025 .021 工资性收入 -.018 -.015 经营性收入 .014 .009 财产性收入 -.064 -.050 转移性收入 -.009 -.009 (常量) -105.381 -55.554 Fisher 的线性判别式函数 4.4应用Fisher判别方程对未分组省份进行分组 由分析可知判别函数 （其中分别代表城镇居民家庭总收入、工资性收入、经营性收入、财产性收入、转移性收入） 又有高收入组各项指标的均值 = （24632.8，18453.4，1826.2 ，703.4 ，6592.4） 次高收入组各项指标的均值 = （16178.16667，11553.66667 ，1480.333333，489.5，4210.666667） 代入判别函数可得=30968.06 ， =21770.85 进而可得=25951.4 将剩余的省份代入判别函数如表4-4所示 地区 城镇居民家庭人均可支配收入 工资性收入 经营性收入 财产性收入 转移性收入 判别函数值 河北省 14718 9831 977 194 4674 20138.023 山西省 13997 9741 944 252 4045 18780.216 内蒙古自治区 15849 11267 1737 364 3583 22451.383 吉林省 14006 9482 1307 146 4220 19584.545 黑龙江省 12566 8357 1224