判别分析的基本原理.pptxVIP

学 海 无 涯 判别分析的基本原理和模型一、判别分析概述 （一）什么是判别分析 判别分析是多元统计中用于判别样品所属类型的一种统计分析方法，是一种在已知研究 对象用某种方法已经分成若干类的情况下，确定新的样品属于哪一类的多元统计分析方法。 判别分析方法处理问题时，通常要给出用来衡量新样品与各已知组别的接近程度的指 标，即判别函数，同时也指定一种判别准则，借以判定新样品的归属。所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。常用的有，距离准则、Fisher 准则、贝叶斯准则等。判别准则可以是统计性的，如决定新样品所属类别时用到数理统计的 显著性检验，也可以是确定性的，如决定样品归属时，只考虑判别函数值的大小。判别函数 是指基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的函数式或描述 指标。 （二）判别分析的种类 按照判别组数划分有两组判别分析和多组判别分析；按照区分不同总体的所用数学模型 来分有线性判别分析和非线性判别分析；按照处理变量的方法不同有逐步判别、序贯判别等；按照判别准则来分有距离准则、费舍准则与贝叶斯判别准则。 二、判别分析方法 （一）距离判别法 １．基本思想：首先根据已知分类的数据，分别计算各类的重心，即分组（类）均值， 距离判别准则是对于任给一新样品的观测值，若它与第i 类的重心距离最近，就认为它来自 第i 类。因此，距离判别法又称为最邻近方法（nearest neighbor method）。距离判别法 对各类总体的分布没有特定的要求，适用于任意分布的资料。 ２．两组距离判别 两组距离判别的基本原理。设有两组总体GA和GB ，相应抽出样品个数为n1 , n2 ，(n1 ? n2 ) ? n ，每个样品观测 p 个指标得观测数据如下， - 171 -学 海 无 涯 x11 ?A? x21 ?A?x12 ?A? x22 ?A???x1 p ?A?x2 p ?A???? ?xn 1 ?A?1xn 2 ?A?1?xn p ?A?1 总体GA 的样本数据为： 该总体的样本指标平均值为： x1 ?A?, x2 ?A?? xp ?A? x11 ?B? x21 ?B?x12 ?B? x22 ?B???x1 p ?B?x2 p ?B???? ?xn 1 ?B?2xn 2 ?B?2?xn p ?B?2 总体GB 的样本数据为： 该总体的样本指标平均值为： x1 ?B?, x2 ?B?? xp ?B? 现任取一个新样品 X ，实测指标数值为 X =（ x1 , x2 ,?, xp ），要求判断 X 属于哪一 类？ 首先计算样品 X 与GA 、GB 两类的距离，分别记为 D?X ,GA ?、D?X ,GB ?，然后按照距离最近准则判别归类，即样品距离哪一类最近就判为哪一类；如果样品距离两类的距离相 同，则暂不归类。判别准则写为： X ? GA ，如果 D?X ,GA ? ? D?X ,GB ?， X ? GB ，如果 D?X ,GA ? ? D?X ,GB ?， X 待判，如果 D?X ,GA ? ? D?X ,GB ?。 其中，距离 D 的定义很多，根据不同情况区别选用。如果样品的各个变量之间互不相 关或相关很小时，可选用欧氏距离。采用欧氏距离时， p?(x? ? x? ( A))2 ? ?1D?X ,G ?=Ap?(x? ? x? (B))2 D?X ,G ?=B? ?1 然后比较 D?X ,GA ?和 D?X ,GB ?的大小，按照距离最近准则判别归类。 但实际应用中，考虑到判别分析常涉及到多个变量，且变量之间可能相关，故多用马氏 距离。马氏距离公式为： ?d ?X , G ? ? ?X ? X ? S ?X ? X ? 2 ?1? A? A ? A?A - 172 -学 海 无 涯 d ?X ,G ? ? ?X ? X ? S?X ? X ? ?2?1?B ? B ?B ?B其中 X ? A? 、 X ?B ? 、 SA 、 SB 分别是GA 、GB 的均值和协方差阵。 这时的判别准则分两种情况给出： （1）当 SA = SB = S 时 d 2 ?X ,G ?? d 2 ?X ,G ? B A??= ?X ? X ? ? S ?X ? X?? ?X ? X ? S ?X ? X ? ?1?1B ? B?B ?? A? A ? A??1 ???X ? S ?X? X ? ?1= 2? X ? X?? A? ?B ?? A? ?B ?2??令 X ? 1 ?XX ?，同时记W ?X ? ? (d ( X ,G ) ? d ( X , G )) 2 2 2?A? ?B ?B A2则W ?X ? ? ?X ? X ?S ?1 ?X ? ? X ? A?