判别分析中Fisher判别法的应用.pptxVIP

学 海 无 涯 1 绪 论课题背景随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代， 要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可 少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法之一，应用于 自然科学和社会各个领域，成为探索多元世界强有力的工具。判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所 属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司是否成功；决定 一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有 某种疾病等等。它是在已知观测对象的分类结果和若干表明观测对象特征的变量 值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进 行判断时，出错的概率很小。而Fisher判别方法是多元统计分析中判别分析方法 的常用方法之一，能在各领域得到应用。通常用来判别某观测量是属于哪种类型。 在方法的具体实现上，采用国内广泛使用的统计软件SPSS（Statistical Product and Service Solutions）,它也是美国SPSS公司在 20世纪80年代初开发的国际上最流行的视窗统计软件包之一 Fisher判别法的概述根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。Fisher 判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影， 针对P维空间中的某点x=(x1，x2，x3，?，xp)寻找一个能使它降为一维数值的线性函数y(x)： y?x? ? ?Cj x j 然后应用这个线性函数把 P 维空间中的已知类别总体以及求知类别归属的 样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归 属。这个线性函数应该能够在把 P 维空间中的所有点转化为一维数值之后，既能 最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中 各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方 差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。 算法优缺点分析学 海 无 涯 优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维 后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远， 同一类别的样本尽可能集中分布。 Fisher方法可直接求解权向量w* ； Fisher的线性判别式不仅适用于确定性模式分类器的训练，而且对于 随机模式也是适用的，Fisher还可以进一步推广到多类问题中去 缺点： *（1）如果M1 ? M2 ， w ? 0 ，则样本线性不可分； M ? M ，未必线性可1 2分； Sw 不可逆，未必不可分。 （2）对线性不可分的情况，Fisher方法无法确定分类 2 实验原理2.1 线性投影与Fisher准则函数各类在d 维特征空间里的样本均值向量： M ? 1? x ， i ?1,2 (2.5-2) ikni xk ?Xi通过变换w 映射到一维特征空间后，各类的平均值为：m ? 1 ? y ， i ?1,2 (2.5-3) i kni yk ?Yi映射后，各类样本“类内离散度”定义为：? ( y ? m )2k i2S ?i， i ?1,2 (2.5-4) yk ?Yi显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数：| m ? m |2JF (w) ???1 2 (2.5-5) s 2 ? s 21 2*使 JF 最大的解w 就是最佳解向量，也就是Fisher的线性判别式。学 海 无 涯 2.2 求解w* 从 JF (w) 的表达式可知，它并非w 的显函数，必须进一步变换。 1? k已知： m ?y ， i ?1,2 , 依次代入(2.5-1)和(2.5-2)，有： ini yk ?Yi 1 1? k? kT TTm ?w x ? w (x ) ? w M ，i ?1,2 (2.5-6) iinni xk?Xii xk?Xi所以：| m ? m |2 ?|| wT M ? wT M ||2 ?|| wT (M ? M ) ||2 1 2 1 2 1 2 ? wT (M ? M )(M ? M )T w ? wT S w (2.5-7) 1 2 1 2 b其 中 ： Sb ? (M1 ? M2 )(M1 ? M2 ) (2.5-8) TSb 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离 散度大小，因此， Sb 越大越容易区分。 1? kT将(2.5-6) m ? w M 和(2.5-2) M ?x 代入(2.5-4) S 2 式中： ii i