(北大)第五章判别分析.pptVIP

第五章 §5.4判别效果的检验及各变量判别能力的检验-两总体判别效果的检验 故由马氏距离d 2可构造检验统计量--F统计量: 第五章 §5.4判别效果的检验及各变量判别能力的检验-两总体判别效果的检验 其中ni是第i个总体的样品个数(i=1,2).在两总体均值相等的假设成立下，F统计量服从分子自由度为m，而分母自由度为n1+n2-m-1的F分布.利用样本可计算F统计量的值，由该值还可求出显著性概率值(p值). 若p值小于给定的显著性水平α(常取α= 0.05)，则否定两总体的均值是相等的假设. 若p值大于给定的显著性水平α，则两总体的均值没有显著性的差异.这时讨论两总体的判别问题是没有意义的.如果盲目地应用以上的方法进行判别归类，则错判的机会将很大. 第五章 §5.3 Fisher(费歇)判别  合并的组内平方和为 其中合并的组内离差阵(或称叉积阵)A为 A0 a′A a A 第五章 §5.3 Fisher(费歇)判别 若k个类的均值有显著差异,则比值 应充分大.利用方差分析的思想,问题化为求投影方向a,使Δ(a)达极大值,显然使Δ(a) 达极大的解a不唯一.若a使Δ(a)达极大,则Ca(C是任意不为零常数)也使Δ(·)达极大,故对a加一约束条件，即选取a使a? Aa=1.问题化为求a, 使Δ(a)=a? Ba在a?Aa=1 条件下达极大. Aa 第五章 §5.3 Fisher(费歇)判别 如果a是在a? Aa=1条件下使Δ(a)=a? Ba达极大的方向,则称u(X)=a? X为典型线性判别函数. 以下利用Lagrange乘数法来求条件极值问题的解.令 (5.3.1) 第五章 §5.3 Fisher(费歇)判别 (5.3.1)的第一式可化为: 由(5.3.1)的第一式可知,条件极值问题化为求A-1B的最大特征值和相应特征向量问题. 设A-1B的非零特征值为λ1≥λ2≥…≥ λr0＞0,相应特征向量为l1,l2,…,l r0 . 第五章 §5.3 Fisher(费歇)判别 取a=l1 时,由(5.3.1)的第一式知: 即取a=l1 时可使Δ(a)达最大,且最大值为λ1, Δ(a)的大小衡量典型判别函数u(X)=a? X的判别效果. 第五章 §5.3 Fisher(费歇)判别  一般称Δ(a)=λ1为典型判别函数u(x)的判别效率.还可以定义u(x)的判别能力p1为 p1 =λ1 /(λ1+λ2+…+λr0 ) 结论5.3.1 Fisher准则下线性判别函数u(X)=aX的解a为特征方程| A-1B -λI | =0的最大特征根λ1所对应的满足l1Al1=1的特征向量l1;且相应的判别效率Δ(l1)=λ1 . 第五章 §5.3 Fisher(费歇)判别  在有些问题中(如分类个数k较大或变量个数m较大时),仅用一个典型线性判别函数不能很好地区分各个总体,这时可用第二大特征值λ2对应的满足l2?Al2 =1特征向量l2 ,建立第二个典型线性判函数l2?X;如还不够,还可建立第三个典型线性判别函数l3?X;依次类推. 如果有r0个非零特征根(1≤ r0≤m),相应有r0个典型线性判别函数u1(X),…,ur0(X).这时相当于把原来m个变量综合成r0个新变量. 第五章 §5.3 Fisher(费歇)判别  在实际应用中,常取前r(1≤r≤r0 )个非零特征根,并使累计判别能力(记为p(r)) p(r) =(λ1 +…+λr)/(λ1+λ2+…+λr0 ) 达到80%以上(这表示用这r个新变量替代m个原变量进行判别归类损失的信息不会超过20%). 这样m维总体的判别问题化为r维的判别问题,一般维数降低了.由于特征向量线性无关, 故r个新变量互不相关.然后对r维数据进行判别归类(比如按§5.1的距离判别准则). 第五章 §5.3 Fisher(费歇)判别  具体判别归类时,首先计算r个典型变量的得分数据,然后对这组r维的新数据,可以使用不同的准则,考虑不同的假定(如协差阵相等或不等;先验概率相等或不等)进行判别归类. 典型判别方法是与主成分分析及典型相关分析有关的降维方法(参阅第七章和第十章). 第五章 §5.3 Fisher(费歇)判别 简例3 简例3(简例1的续) :对简例