距离判别分析.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 作业： 1. 对书中春旱数据进行Bayes判别， 2. 改变先验概率对判别的影响分析 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 4.2.2 两个总体的Bayes判别 1.一般讨论 考虑两个p元总体G1,G2分别具有概率密度函数f1(x),f2(x)，设出现的先验概率为： ，且 一个划分R=(R1,R2)相当于一个判别准则，在判别准则R下将来自G1的样品误判为G2的概率是 * 而将来自G2的样品误判为G1的概率是 平均误判率为 平均误判损失 其中c(2|1) 是将G1的样品误判为G2的损失 c(1|2)是将来自G2的样品误判为G1的损失 * 我们首先考虑c(2|1)=c(1|2)的情况，并且总假定c(1|1)=c(2|2)=0 对于一个p元样本 根据Bayes公式，可以得到该样品属于G1,G2的后验概率分别为 * 当c(2|1)=c(1|2)时，两总体Bayes判别的一个最优划分是 于是得到两个总体的Bayes判别法则为： * 定理1. 若c(2|1)=c(1|2)=c,则存在最优划分 使得平均误判概率 最小. 证明 ： * 显然，若取 则可以使得P*达到最小，这时 * 推论：若c(2|1)=c(1|2)=c,则存在最优划分 使得平均误判损失达到最小. 由于c(2|1)=c(1|2)=c，于是平均误判损失为： cp*，因此若存在最优划分R，使得cp*达到最 小等价于使得p*达到最小. * 当c(2|1)与c(1|2)不相等时，关于先验概率p1,p2，误判造成的平均损失为 * 于是，当L取得最小值时有最优划分为： 显然，当c(1|2)=c(2|1),上式即为 * （1）两个总体协方差矩阵相等的情形 设总体G1,G2的协方差矩阵相等且为Σ，概率密度函数为 上式两边取自然对数得 这时 2.两个正态总体的Bayes判别 在c(1|2)=c(2|1)的条件下，我们首先考虑： * 令 于是 * 于是判别准则简化为： 在MATLAB中计算wj(x)的公式为： 其中 * 下面，我们推导关于后验概率最大的另外一种数学表达式 由于 代入上式得 注意到对数恒等式 * 分子可化为： 令 于是后验概率可表示为 P(G1|x)P(G2|x) 等价于 d12(x) d22(x) * 注意到 是x到Gj的马氏距离平方，由MATLAB软件 P(G1|x)P(G2|x) 等价于 d12(x) d22(x) 等价于 mahal(x,G1)-mahal(x,G2)2log(p1/p2) 显然，当p1=p2时，Bayes判别就是距离判别. 距离判别与Bayes判别的比较： 距离判别与总体的分布无关，信息少，简单 Bayes判别比距离判别多了先验概率信息，如果总体不服从多元正态分布，上述推导无效！！ * （1）检验两个总体的协方差矩阵是否相等； (前面已检验相等). （2）估计两个总体的先验概率，由于APF与AF分别为6个与9个，故估计Apf类蠓虫的先验概率为：6/（6+9）=2/5=0.4，Af类蠓虫的先验概率为0.6 （3）检验两个总体是否服从二元正态分布，由于各指标服从一元正态分布，故总体服从二元正态分布. 例1.用Bayes判别蠓虫 * （4）利用MATLAB软件计算： bd=m1*inv(s)*x-0.5*m1*inv(s)*m1+log(0.4) -(m2*inv(s)*x-0.5*m2*inv(s)*m2+log(0.6)) 结果为：1.7585 0.9514 1.5747， 都大于零，故三个蠓虫均属于Apf类 上述判别结果与马氏距离判别一样 * （2）两个总体协方差矩阵不相等的情形 设总体的协方差矩阵不相等,分别为Σ1,Σ2, 概率密度函数为 上式两边取自然对数得 这时 * 于是，判别函数为： 判别准则为： 若d(x) 则判别x属于第一类； 若d(x)0 则判别x属于第二类； * 3.误判率的计算 误判率的计算比较复杂，我们仅对两个正态总体G1,G2，且协方差矩阵相等的情况下研究误判率的计算，首先我们给出两类总体最优划分的一个线性判别函数，即 其中 * 证明： 注意到实数的转置等于其本身 * 于是 令 并注意到 代入上式立得： * 下面计算平均误判概率 若