第二章统计判决及其参数统计.ppt

第二章　统计判决及其参数统计; 在限定一类错误率条件下使另一类错误率为最小的两类别决策，即为N-P决策。 1 概念引入　 在两类(w1,w2)下，对于最小错误率Bayes决策，是使总错误率p(e)为最小。 即 其中，P(w1)P1(e)为属于w1 的模式X被误分到w2类而产生的错误(另一个反之)。 ;其中P1(e)和P2(e)称为(两类)错误率。 但在实际中，有时希望使其中某一类错误率为常数ε0，而使另一类错误率为最小——即N—P决策。 ;令 下，求 的极小值。 即： 采用Lagrange乘子法，构造Lagrange函数为： 其中λ是Lagrange乘子，目的是求 的极小值。 (即λ为一待定常数）。 ;将p1(e)与p2(e)的表达式代入　上式。 化简后 (2-25) 上式中λ是Lagrange乘子，而R1是变量，这样 的极小值问题就是要选择R1和R2的边界（边界点为t）问题了，即求R1使　 取极小值。;据条件极值求解方法，得 解上述方程求得λ和x (设为t)。 λ为Lagrange乘子（常数）。而x为　 的极小值解。即当边界点x=t时，所得的边界面就能使λ (即p1(e)) 最小。;对于某一观察 ，若其在区域 内（即 ），则在上述(2-25)式中的被积项就应该为负（即尽量小），才能使 最小。即 若 　　　　　则 或若 　　则 ;同理可求得： 在确定 区域时应有 若　　 则 或若　　　 则 ;四 最小最大决策;但如果p(w1)和p(w2) 是未知或可变时，则最小风险的阈值就是不确定的（∵不符合最小风险Bayes规则）， 　　∴也就不能使风险R为最小了，即实际的风险/损失会变大。（决策域也就不是最佳的了）。 故：立足在最差的情况下争取最好的结果。 即：使最大可能的将风险达到最小——最大最小决策;据最小风险Bayes决策，总风险R为：（在R1， R2确定下）;两类下，有下列关系式 上式R可写成： 即R与p(w1)（也可写成p(w2) ）的关系。简写为：;说明： ① 在 中， 若已知类概密p(x|wi)及损失函数λij，对于某个p(w1) ，??可由最小风险Bayes决策决定决策面R1，R2，从而得到风险R，且R --- p(w1)为线性关系。 或者说，在已知p(x|wi) , λij, (某个p(w1) 下的最佳) R1，R2下， a，b才是常数，才有R --- p(w1)线性关系。;即：在这个线性关系中，若p(w1)变化时，而决策面R1，R2不作相应调整条件下，R---p(w1)为线性关系。如右图表示。 这时R的变化范围是： 　　R∈[a,a+b] ; ② ∵p(w1)的取值范围为[0,1]。 若使p(w1)在[0,1]上分别取若干个不同值，对每个p(w1)值分别采用最小风险Bayes决策　　　　分别得到最佳决策面R1，R2 　　　　得到不同的最小风险R。 即： p(w1) ; ;③ 如果曲线L在[0,1]中有极大值。（设在B点） 则有 这时 b=0; R=a 这时过B点的切线与横坐标平行， 不管p(w1) 再如何变化,其最小风险R 都不变（直线）——因而得名：最小最大决策 故：在用最小风险Bayes决策时，如果 p(w1)可变/未知，则应选择使R为最大值来设计分类器。这时不管p(w1)如何，R总为最小。; 注：这是典型情况下的结论，若L上无极大值或b=0等情况时，就用其它方法（请参杨等书）。;前述方法中是在取定（全部）n 个特征后再考虑进行分类识别时的误判概率或误判风险。但实际上，在特征获取上也要花费一定的代价。如果在判决时，可能有k个特征(kn)就可做出合理的判决，再加入其余n-k个特征值虽可使误判概率或风险降低，但其所减少的误判代价不足以补偿获得这n-k个特征所花费的代价——序贯分类（判决）法来解决（统计）。; 其具体有两种方法： 方法1：先用一部分特征参与判决，以后逐步的每次加入一个新的特征进行判决，在某一步中如能判决出模式的类别则对该模式结束；若不能判定，就增加