第三章判别分析详解.pptVIP

用D1, D2, …，Dk表示p维欧氏空间ＲP的一个划分，即D1, D2,…，Dk互不相交,且D1∪D2∪…∪Dk=RP。如果这个划分取得适当，正好对应于这k个总体，这时判别规则可以采用如下办法: 设有k个总体G1，G2，…，Gk分别具有p维密度函数f1(x), f2(x), …，fk(x)，已知出现这k个总体的先验概率为q1,q2,…，qk(q1+q2+…+qk=1), 我们希望建立判别函数和判别规则。 问题是如何获得这个划分? x∈Ｇi 若x落入Di, i=1,2，…，k 用c(j|i)表示样品来自Ｇi而误判为Ｇj的损失，这一误判的概率为 于是由判别规则所带来的平均损失ECM(expected cost of miscalculation）为 我们总是定义c(i|i)=0。目的是求D1，D2，…，Dk使ECM达到最小 。 可以证明 定理3.1 在本节假定下，Bayes判别解 D1,D2,…,Dk 为 其中 Dt={ x|ht(x)＜hj(x), j≠t, j=1,2,…, k} , t=1,2,…,k 例3.2 当k=2时 h1(x)=q2 f2(x)c(1|2), h2(x)=q1 f1(x)c(2|1) 从而 D1={x|q2 f2(x)c(1|2) q1 f1(x)c(2|1) } D2={x|q2 f2(x)c(1|2) q1 f1(x)c(2|1) } h1(x)=q2 f2(x)c(1|2), h2(x)=q1 f1(x)c(2|1) 从而 D1={x|q2 f2(x)c(1|2) q1 f1(x)c(2|1) } D2={x|q2 f2(x)c(1|2) q1 f1(x)c(2|1) } 若令判别函数为 V(x)=f1 (x)/f2(x), d=q2c(1|2)/q1c(2|1) 则判别规则可表示为 例3.3 若f1(x)与f2(x)分别为p维正态分布Np(?1, ?), Np(?2,?)的密度函数，此时 V(x)=f1 (x)/f2(x) 其中W(x)与距离判别的相同。则判别规则可表示为 当q1=q2,c(1|2)=c(2|1),则d=1,lnd=0。此时即为距离判别。 定理5.1 在本节假定下，Bayes判别解 D1,D2,…,Dk 为 其中 实际中，损失c(j|i)不易给出，常取c(j|i)=1, i≠j。 Dt={ x|ht(x)＜hj(x), j≠t, j=1,2,…, k} , t=1,2,…,k 推论 如果c(j|i)=1, i≠j，则Bayes解为 Dt={ x|qtft(x)qjfj(x), j≠t, j=1,2,…, k} , t=1,2,…,k 例如 设G1,…,Gk的分布为Np(?1, ?),…, Np(?k,?), 则 推论 如果c(j|i)=1, i≠j，则Bayes解为 Dt={ x|qtft(x)qjfj(x), j≠t, j=1,2,…, k} , t=1,2,…,k 例如 设G1,…,Gk的分布为Np(?1, ?),…, Np(?k,?), 则 其中线性判别函数Wi(x)为： 判别规则也可以写为： 对协方差阵不同的情况有类似的结果。 标准的贝叶斯方法要计算后验概率分布。即计算当样品x已知时，它属于Ｇt的概率，记作Ｐ(Ｇt|x)，这个概率作为样品归类的尺度，其概率意义更为直接。易见 判别规则为： 标准的贝叶斯方法要计算后验概率分布。即计算当样品x已知时，它属于Ｇt的概率，记作Ｐ(Ｇt/x)，这个概率作为样品归类的尺度，其概率意义更为直接。易见 或写为： 例3.5 某城市环保监测站在全市均匀地布置了14个监测点，测得污染元素含量数据如下表。污染情况分为三类：第一类为严重污染(6,8,9,13号监测点)；第二类为一般污染(1,2,3,7,10,14号监测点)；第三类为基本没有污染(4,5,11,12号监测点)。该城市另有2个单位在同一期间测定了所在单位大气中三种污染元素的含量(表中最后2行)，试判断这2个单位的污染情况属哪一类。 x1—二氧化硫;x2—氮氧化物；x3—飘尘。 大气污染数据 0.101 0.052 0.181 0.045 0.005 0.122 . . 1 2 0.045 0.043 0.265 0.066 0.039 0.264 0.094 0.061 0.194 0.003 0.003 0.102 0.048 0.015 0.106 0.210 0.