模式识别Bayes决策方法.pptVIP

Dr. Djamel Bouchaffra Applied Pattern Recognition CSE616 模式识别Pattern Classification 第三章: Bayes决策方法 Bayes决策方法 原理 根据Bayes决策理论，由先验知识来推断后验概率 保证错误概率最小或风险最小 Bayes决策方法 先验知识 先验概率P(ωi ) 类概率密度P( X / ωi ) Bayes决策方法 根据考虑问题的角度 最小错误概率的Bayes决策 一维二类情况 设两类模式分别?1 和?2，其类概率密度分别为P(x / ?1)和 P(x / ?2), 先验概率为P(?1)和 P(?2) 最小错误概率的Bayes决策 一维二类情况 显然： 由Bayes公式（联合概率密度知）： 最小错误概率的Bayes决策 最小错误概率的Bayes决策 一维二类情况 合理的决策为：对待识样本x 若P( ?1 / x ) P( ?2 / x ) ，则判x∈?1类 　　　　　　　若P( ?2 / x ) P( ?1 / x ) ，则判x∈?２类 最小错误概率的Bayes决策 最小错误概率的Bayes决策 一维二类情况 或： ，则判 x∈?1 类 上述分类准则称为Bayes决策准则 最小错误概率的Bayes决策 特殊情况下，若P( ?1 ) = P( ?２ ) ，则分类决策完全由类概率密度函数决定。 即： 若P( x / ?1) P( x / ?2 ) ， 则判x∈?1类 　 若P( x / ?2) P( x / ?1 ) ， 则判x∈?２类 最小错误概率的Bayes决策 以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x / ?1) 和 P( x / ?2 ) 如下： 最小错误概率的Bayes决策 最小错误概率的Bayes决策 两条曲线描述了两类鱼的长度区别 概率密度函数已归一化，因此每条曲线下的面积为１，即： 最小错误概率的Bayes决策 若先验概率P( ?1 ) =2/3，P( ?２ )=1/3，则其后验概率P( ?1 / x ) 和 P( ?2 / x )如下图所示 最小错误概率的Bayes决策 错误概率最小？ 错误概率 最小错误概率的Bayes决策 错误概率最小？ 无论判别从哪个方向调整，均导致错误概率的增加！ 最小错误概率的Bayes决策 多类多维情况 设Ω={ ?1， ?2， ﹒﹒﹒ ， ωc } 是 C 个类别状态的有限集合，X = [ x1， x2， ﹒﹒﹒ ， xd ]T 是 d 维特征向量， P( x /? i ) 为第 i 类的类概率密度函数，P(? i ) 为第 i 类的先验概率，则有： 其中 最小错误概率的Bayes决策 多类多维情况 Bayes决策准则为： 　 最小错误概率的Bayes决策 举例 设某地区细胞识别中正常(?1)和异常(?2) 两类的先验概率分别为： P(?1)=0.9 P(?2)=0.1 且知?1和?2 两类的类概率密度函数为P(x/?1)和P(x/?2) 现有一待识细胞其特征值为x，从概率密度函数曲线查得： P(x/?1)=0.2 P(x/?2)=0.4 试用Bayes决策准则对待识样本进行分类。 最小错误概率的Bayes决策 解： P(x/?1) P(?1)=0.2×0.9=0.18 P(x/?2) P(?2)=0.1×0.4=0.04 可见： P(x/?1) P(?1 P(x/?2) P(?2) 由Bayes决策准则得： x ∈?1 类，为正常细胞 最小风险（损失）的Bayes决策 损失的概念 基于最小错误概率的Bayes决策，仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。 例如： 自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。 　　可利用决策论的理论和方法来解决上述问题。 最小风险（损失）的Bayes决策 损失的概念 设Ω={?1， ?2， ﹒﹒﹒ ， ωc }表示 c 个有限的类别状态的集合， A={a1， a2， ﹒﹒﹒ ， ak }表示 k 个有限的决策（行为）的集合 则定义 为模式自然状态为ωj 时，采取决策 ai 所造成的损失 最小风险（损失）的Bayes决策 损失的概念 例如，对于细胞正常或异常的分类问题，可得如下损失表 最小风险（损失）的Bayes决策 风险函数（损失函数） 设P(?j)是自然状态为?j