判别分析中Fisher判别法的应用.docVIP

1 绪 论 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。? 然后应用这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。 1.3 算法优缺点分析 优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。 （2）Fisher方法可直接求解权向量；，，， 不各类在 ， (2.5-2) 通过变换， (2.5-3) 映射后，各类样本“类内离散度”定义为： ， (.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数： (2.5-5) 使最大的解 从的表达式可知，它并非 已知：，, 依次代入(.5-1)和(.5-2)，有： ， (2.5-6) 所以： (2.5-7) 其中： (2.5-8) 是原维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，越大越容易区分。 将(.5-6)和(.5-2)代入(.5-4)式中： (.5-9) 其中：， (.5-10) 因此： (.5-11) 显然： (.5-12) 称为原维特征空间里，样本“类内离散度”矩阵。 是样本“类内总离散度”矩阵。 为了便于分类，显然越小越好，也就是越小越好。 将上述的所有推导结果代入表达式： 可以得到： 其中，是一个比例因子，不影响的方向，可以删除，从而得到最后解： (.5-18) 就使取得最大值，可使样本由维空间向一维空间映射，其投影方向最好。是一个Fisher线性判断式。 ???这个向量指出了相对于Fisher准则函数最好的投影线方向。 由Fisher线性判别式求解向量的步骤： ① 把来自两类的训练样本集分成和两个子集和。 ② 由，，计算。 ③ 由计算各类的类内离散度矩阵，。 ④ 计算类内总离散度矩阵。 ⑤ 计算的逆矩阵。 ⑥ 由求解。 应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。 如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量本实验通过编制程序体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。 标准化的典型判别式函数系数 函数 1 城镇居民家庭总收入 2.940 工资性收入 -1.892 经营性收入 .943 财产性收入 -1.322 转移性收入 -.112 分类函数系数 组别 城镇居民家庭总收入 .025 .021 工资性收入 -.018 -.015 经营性收入 .014 .009 财产性收入 -.064 -.050 转移性收入 -.009 -.009 (常量) -105.381 -55.554 Fisher 的线性判别式函数 4.4应用Fisher判别方程对未分组省份进行分组 由分析可知判别函数 （其中分别代表城镇居民家庭总收入、工资性收入、经营性收入、财产性收入、转移性收入） 又有高收入组各项指标的均值 = （24632.8，18453.4，1826.2 ，703.4 ，6592.4） 次高收入组各项指标的均值 = （16178.16667，11553.66667 ，148