第四章 统计判别.ppt

第四章 统计判别 例题1图示 例题1图示 图例：最小误判概率准则 最小误判概率准则下的判决规则： 如果， 则判 4.2.1 损失概念、损失函数与平均损失 决策-损失表 条件平均风险 令决策的数目a等于类数c，如果决策?j 定义为判 属于?j 类，那么对于给定的模式 在采取决策?j 的条件下损失的期望为 4.2.2 最小损失准则判决 可以将最小条件平均损失判决规则表示为 如果 则判 若记似然比阈值 4.2.3 含拒绝判决的最小损失判决 判决规则如下： 如果 则判： 损失函数如何确定依赖于实际问题和经验，有时为了方便，对于一般的 类问题，令 （0-1损失函数） 此时： 此即为最小误判概率准则的判决规则 取0-1损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。 拒绝判决可以作为最小损失判决中的一个可能判决， “拒绝判决”。 如果 j=1,2,…,c 则作出拒绝判决。 设?(?c+1( )|?i)=?r，(i=1,2,…,c)， （即各类的拒判损失相同） 则 又设?(?j( )|?i)=?e，(j?i，i，j =1,2,…,c)， （即各误判损失相同） （即各正确判决损失相同） ?(?i( )|?i)=?c，(i=1,2,…,c)， 且通常有 ?c?r?e 如果 ，(j=1,2,…c)，则对 做拒绝判决。 = 1-t 这里 称之为拒判门限。 因为?c?r?e，故0? t ?1。 对于两类问题，存在拒判决策的条件是： 当t1-1/c时,1-t1/c,上式恒成立,不存在拒判问题, 即存在拒判决策的条件应该是:t≤1-1/c 如果 则判 如果 则判 最小误判概率准则 最小损失准则 拒判 拒绝判决的最小损失 * * 随机模式分类识别，通常称为Bayes(贝叶斯)判决。 （基础复习） 第四章 统计判决 主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。 本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。 Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)0，P(Bi)0，(i=1,2,…,n)，则: “概率论”有关概念复习 条件概率 “概率论”有关概念复习 先验概率：P(?i)表示类?i出现的先验概率，简称类?i的概率。 后验概率：P(?i|x)表示x出现条件下类?i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类?i的概率。 类概密： p(x|?i)表示在类?i条件下的概率密度，即类?i模式x 的概率分布密度，简称为类概密。 对于两类?1， ?2问题，直观地，可以根据后验概率做判决： 式中，p(x|?i)又称似然函数(likelihood function of class ?i)，可由已知样本求得。 Bayes法则－最大后验概率准则 根据Bayes公式，后验概率 可由类?i的先验概率P(?i)和条件概率密度 来表示，即 将P(?i|x)代入判别式，判别规则可表示为 或改写为 l12称为似然比（likelihood ratio），?12称为似然比的判决阀值。 原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。 已知：（统计结果） 先验概率： P(?1)=1/3（鲈鱼出现的概率） P(?2)=1-P(?1)=2/3 （鲑鱼出现的概率） 条件概率： p(x|?1) 见图示（鲈鱼的长度特征分布概率） p(x|?2)见图示（鲑鱼的长度特征分布概率） 求：后验概率：P(?|x=10)=? （如果一条鱼x＝10，是什么类别？） 解法1： 利用Bayes公式 写成似然比形式 解法2： 鲈鱼 鲑鱼 10 0.05 0.5 5.5 8.5 10 最小误判概率准则判决 最小损失准则判决 最小最大损失准则 N-P(Neyman—Pearson)判决 第四章 统计判决 4·1 最小误判概率准则判决 第四章 统计判决 或等价地， 如果， 则判 另一个等价形式是： 如果 则判 由贝叶斯定理 4.2 最小损失准则判决 第四章 统计判决 最小错误率 最小损失