关于贝叶斯决策理论(韩宇畴).pptVIP

基于最小错误率的贝叶斯决策 几种等价形式： 后验概率形式: 如果 则 x归为ωi 先验概率及类条件概率密度函数表示： 如果 则 x归为ωi 第三十一页，共八十页。 基于最小错误率的贝叶斯决策 几种等价形式： 比值的方式表示， 如果 则x归为ω1 ， 否则x归为ω2 第三十二页，共八十页。 基于最小错误率的贝叶斯决策 几种等价形式： 对数形式 若 则x归为ω1 ， 否则x归为ω2 第三十三页，共八十页。 基于最小错误率的贝叶斯决策 例2.1 假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。 现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4， 试对细胞x进行分类。 第三十四页，共八十页。 基于最小错误率的贝叶斯决策 例2.1 解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率 第三十五页，共八十页。 基于最小错误率的贝叶斯决策 例2.1 根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182 分析:错误概率是多少？ 判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.818 因此判定该细胞为正常细胞比较合理。 第三十六页，共八十页。 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 从平均的意义上的错误率 在连续条件下，平均错误率，以P(e)表示，应有 : 第三十七页，共八十页。 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 分析两类别问题 按贝叶斯决策规则，当P(w2|x)＞p(w1|x)时决策为w2。 显然这个决策意味着，对观测值x有P(w1|x)概率的错误率。 上例中所作的w1决策，实际上包含有P(w2|x)=0.182的错误概率 第三十八页，共八十页。 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 在两类别的情况下，可以将p(e|x)表示成当 第三十九页，共八十页。 基于最小错误率的贝叶斯决策 最小错误率贝叶斯准则使得错误率最小证明: 如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x)。 第四十页，共八十页。 基于最小错误率的贝叶斯决策 最小错误率贝叶斯准则使得错误率最小证明: 因此平均错误率P(e)可表示成 第四十一页，共八十页。 基于最小错误率的贝叶斯决策 最小错误率贝叶斯准则使得错误率最小证明: 由于在R1区内任一个x值都有P(w2|x)＜P(w1|x)， 同样在R2区内任一个x值都有P(w1|x)＜P(w2|x)错误率在每个x值处都取小者， 因而平均错误率P(e)也必然达到最小 这就证明了平均错误率为最小 第四十二页，共八十页。 基于最小错误率的贝叶斯决策 第四十三页，共八十页。 C类别情况下最小错误率贝叶斯决策 在C类别情况下最小错误率贝叶斯决策规则的后验概率形式： 先验概率与类条件概率密度相联系的形式 第四十四页，共八十页。 C类别情况下最小错误率贝叶斯决策 多类别决策过程中的错误率 把特征空间分割成R1，R2，…，Rc个区域 统计将所有其它类错误划为该区域对应的i类的概率 计算是很繁琐 计算平均正确分类概率P(c)即 第四十五页，共八十页。 2.2.2基于最小风险的贝叶斯决策 基本思想 使错误率最小并不一定是一个普遍适用的最佳选择。 癌细胞分类 两种错误: 癌细胞→正常细胞 正常细胞→癌细胞 两种错误的代价(损失)不同 第四十六页，共八十页。 基于最小风险的贝叶斯决策 基本思想 宁可扩大一些总的错误率，但也要使总的损失减少。 引进一个与损失有关联的，更为广泛的概念——风险。 在作出决策时，要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。 第四十七页，共八十页。 基于最小风险的贝叶斯决策 最小错误率贝叶斯决策规则： 最小错误率目标函数: P (ωj|X) 为了考虑不同决策的不同损失，构造如下目标函数 λ(i)j:表示样本X实际属于j类，被判为状态i所造成的损失 Rj(X):表示把样本X判为状态i所造成的整体损失 第四十八页，共八十页。 基于最小风险的贝叶斯决策 两类情况:有没有癌细胞 ω1表示正常，ω2表示异常 P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小 X是癌细胞(ω2)，但被判作正常(ω1)，则会有损失，