第2章 贝叶斯决策理论与统计判别方法1.pptVIP

基于最小风险的贝叶斯决策 例2.2 作出决策 由于R(α1|X)＞R(α2|X) 即决策为ω2的条件风险小于决策为ω1的条件风险， 因此应采取决策行动α2 即判待识别的细胞X为ω2类——异常细胞。 基于最小错误率的贝叶斯决策 问题 根据最小错误率，如何利用先验概率、类条件概率密度函数和后验概率进行分类？ 基于最小错误率的贝叶斯决策 贝叶斯决策理论前提 各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。 贝叶斯决策理论方法所讨论的问题是： 已知:总共有c类物体，以及先验概率P(ωi)及类条件概率密度函数p(x|ωi) 问题: 如何对某一样本按其特征向量分类的问题。 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策规则: 如果P(ω1|X)P(ω2|X)，则X归为ω1类别 如果P(ω1|X)≤P(ω2|X)，则X归为ω2类别 基于最小错误率的贝叶斯决策 几种等价形式： 后验概率形式: 如果 则 x归为ωi 先验概率及类条件概率密度函数表示： 如果 则 x归为ωi 基于最小错误率的贝叶斯决策 几种等价形式： 比值的方式表示， 如果 则x归为ω1 ， 否则x归为ω2 基于最小错误率的贝叶斯决策 几种等价形式： 对数形式 若 则x归为ω1 ， 否则x归为ω2 基于最小错误率的贝叶斯决策 例2.1 假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。 现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4， 试对细胞x进行分类。 基于最小错误率的贝叶斯决策 例2.1 解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率 基于最小错误率的贝叶斯决策 例2.1 根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182 分析:错误概率是多少？ 判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.818 因此判定该细胞为正常细胞比较合理。 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 从平均的意义上的错误率 在连续条件下，平均错误率，以P(e)表示，应有 : 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 分析两类别问题 按贝叶斯决策规则，当P(w2|x)＞p(w1|x)时决策为w2。 显然这个决策意味着，对观测值x有P(w1|x)概率的错误率。 上例中所作的w1决策，实际上包含有P(w2|x)=0.182的错误概率 最小错误率的证明 最小错误率贝叶斯准则使得错误率最小证明: 在两类别的情况下，可以将p(e|x)表示成当 基于最小错误率的贝叶斯决策 最小错误率贝叶斯准则使得错误率最小证明: 如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x)。 基于最小错误率的贝叶斯决策 最小错误率贝叶斯准则使得错误率最小证明: 因此平均错误率P(e)可表示成 基于最小错误率的贝叶斯决策 最小错误率贝叶斯准则使得错误率最小证明: 由于在R1区内任一个x值都有P(w2|x)＜P(w1|x)， 同样在R2区内任一个x值都有P(w1|x)＜P(w2|x)错误率在每个x值处都取小者， 因而平均错误率P(e)也必然达到最小 这就证明了平均错误率为最小 基于最小错误率的贝叶斯决策 C类别情况下最小错误率贝叶斯决策 在C类别情况下最小错误率贝叶斯决策规则的后验概率形式： 先验概率与类条件概率密度相联系的形式 C类别情况下最小错误率贝叶斯决策 多类别决策过程中的错误率 把特征空间分割成R1，R2，…，Rc个区域 统计将所有其它类错误划为该区域对应的i类的概率 计算是很繁琐 计算平均正确分类概率P(c)即 2.2.2基于最小风险的贝叶斯决策 基本思想 使错误率最小并不一定是一个普遍适用的最佳选择。 癌细胞分类 两种错误: 癌细胞→正常细胞 正常细胞→癌细胞 两种错误的代价(损失)不同 基于最小风险的贝叶斯决策 基本思想 宁可扩大一些总的错误率，但也要使总的损失减少。 引进一个与损失有关联的，更为广泛的概念——风险。 在作出决策时，要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。 基于最小风险的贝叶斯决策 最小错误率贝叶斯决策规则： 最小错误率目标函数: P (ωj|X) 为了考虑不同决策的不同损失，