判别分析中fisher判别法的应用.docxVIP

1绪论 欧阳光明(2021.03. 07) 1- 1课题背景 随着社会经济不断发展，科学技术的不断进步，人们己经进入了信息时 代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人 们必不可少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法 之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。 判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个 体所属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司杲否成 功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断 此病人是否有某种疾病等等。它是在已知观测对象的分类结果和若干表明观 测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对 新的观测对象的类别进行判断时，出错的概率很小。而Fisher判别方法是多 元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。通常用来 判别某观测量是属于哪种类型。在方法的具体实现上，采用国内广泛使用的 统计软件SPSS 2021. 03. 07 (Statistical Product and Service Solutions),它也 是美国SPSS公司在20世纪80年代初开发的国际 上最流行的视窗统计软件包之一 1.2 Fisher判别法的概述 *欧阳光明*创编 根据判别标准不同，可以分为距离判别、 Fisher判别、Bayes判 别法等。Fisher判别法是判别分析中的一种，其思想 是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(xl, x2, x3, xp)寻找一个能使它降为一维数值的线性函数y(x): 然后应用这个线性函数把P维空间中的己知类别总体以及求知类别归属 的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定 其归属。这个线性函数应该能够在把P维空间中的所有点转化为一维数值之 后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩 大不同类别中各个样本点之间分析的思想，即依据组间均方差与组内均方差 之比最大的原则来进行判别。 优点：(1)一般对于线性可分的样本，总能找到一个投影方向，使得降维 后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能 远，同一类别的样本尽可能集中分布。 Fisher方法可直接求解权向量浓； Fisher的线性判别式不仅适用于确定性模式分类器的训 练，而且对于随机模式也是适用的，Fisher还可以进一步推广到多 类问题中 去 缺点: 如果M产“2,^0,则样本线性不可分；M”,未必线性可分；瓦不可 逆，未必不可分。 对线性不可分的情况，Fisher方法无法确定分类 2实验原理 2.1线性投影与Fisher准则函数 各类在〃维特征空间里的样本均值向量： 。 (2.5-2) 通过变换⑷映射到一维特征空间后，各类的平均值为： ,日,2(25_3) 映射后，各类样本“类内离散度”定义为： M , T2 (2.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各 类的样本类内离散度越小越好。因此，定义Fisher准则函数： V+V (2.5-5) 使片最大的解-就是最佳解向量，也就是Fisher的线性判别式。 2021. 03. 07 2?2求解， 从几(”’)的表达式可知，它并非⑷的显函数，必须进一步变换。 *欧阳光明*创编 —= wr(— =虬 1li TX€XZ B, 202L 03. 07 己知： ，2%依次代入(2.5-1)和(2.5-2),有： T T T =w (M| - M2) (M| -W = vf S』(2 5-7) 其中胃=w ?A2)『(2.5-8) 氐是原〃维特征空间里的样本类内离散度矩阵，表示两类均值向量之间 的离散度大小，因此，瓦越大越容易区分。 将(2.5-6)叫二’冏和(2.5-2)皿 代入(2.5-4声式中: =雨 (2.5-9) s产口母-Mg-其中： (2.5J (2@孩1) X” 、 i = 1,2 10) S : +S ; = Z (5j +S2) vv= Sww 因此： 显然： 几二 ￡称为原〃维特征空间里，样本“类内离散度”矩阵。 瓦是样本“类内总离散度〃矩阵。 为了便于分类，显然E越小越好，也就是瓦越小越好。 将上述的所有推导结果代入几3)表达式： 可以得到： / 其中，亍是一个比例因子，不影响沐的方向，可以删除，从而 得到最后解: 水欧阳光明*创编 敢就使几3）取得最大值，浓可使样本由〃维 空间向一维空间映射，其投影方向最好。=汗血-耐是一个Rsher线性判断 式。 这个向量指出了相对于Fisher准则函数最好的投影线方向。 2 - 3 Fisher A 法步骤 由Fisher线性判别式“工乔M-M