[理学]第二章 贝叶斯决策理论.pptVIP

模式识别理论及应用Pattern Recognition - Methods and Application 第二章 贝叶斯决策理论 内容目录 2.1 引言 基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间S： 决策 决策准则 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则 2.2.1 Bayes最小错误率决策 以两类分类问题为例：已知先验概率P(ωi)和观测值的类条件概率密度(分布) p(x|ωi)，i=1,2问题：对某个样本x，x∈ ω1? x∈ ω2？ 后验概率P (ωi| x)的计算 Bayes公式： 假设已知先验概率P(ωi)和观测值的类条件概率密度p(x|ωi)，i=1,2 公式简化 比较大小不需要计算p(x)： 公式简化 Bayes最小错误率决策例解 两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为： 正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 如何对细胞x进行分类？ Bayes最小错误率决策例解（2） 利用贝叶斯公式计算两类的后验概率： 图解 决策的错误率(1) 条件错误率： 决策的错误率（2） 决策的错误率（3） 设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1~(-∞，t)和R2~(t，+∞) 决策的错误率（4） 2.2.2 基于最小风险的Bayes决策 决策的风险： 做决策要考虑决策可能引起的损失。 以医生根据白细胞浓度判断一个人是否患血液病为例： 没病(ω1)被判为有病(ω2) ，还可以做进一步检查，损失不大； 有病(ω2)被判为无病(ω1) ，损失严重。 在决策论中称采取的决定为决策或行动,所有可能采取的决策组成的集合称为决策空间.每个决策或行动都带来一定的损失,它通常是决策和自然状态的函数.通常用决策表或决策矩阵表示. 基于最小风险的Bayes决策 (1)观察 损失矩阵 后验概率P (ωi| x)的计算 Bayes公式： 假设已知先验概率P(ωi)和观测值的类条件概率密度p(x|ωi)，i=1,2,…,c 期望条件风险与期望风险 期望条件风险：获得观测值x后，决策D(x)造成的损失对x实际所属类别的各种可能的平均，称为条件风险(条件期望损失)R(D(x)|x) 基于最小风险的Bayes决策 基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小. Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。 基于最小风险的Bayes决策 最小风险决策的计算 给定损失矩阵，算出每个决策的条件风险，取最小的。 某些特殊问题，存在简单的解析表达式。 两类问题最小风险Bayes决策 用Bayes公式展开，最小风险Bayes决策得到： Bayes最小风险决策例解 两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为： 正常(ω1)： P(ω1)=0.9 异常(ω2)： P(ω2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|ω1)=0.2， p(x|ω2)=0.4 λ11=0， λ12=6， λ21=1， λ22=0， 按最小风险决策如何对细胞x进行分类？ Bayes最小风险决策例解（2） 后验概率： P(ω1|x) =0.818， P(ω2|x) =0.182 最小风险决策的一般性 基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。 只需要定义损失为： 2.2.3 在限定一类错误率条件下使另一类错误率为最小的两类别决策 在两类别决策问题中,有犯两种错误分类的可能性,一种是在采取决策w1时其实际自然状态为w2,另一种是采取决策w2时其实际自然状态为w1,这两种错误的概率分别是p(w2)p2(e)和p(w1)p1(e),最小错误率贝叶斯决策是使这两种错误率之和p(e)为最小. 实际中,有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能小.这样的决策可以看成在求极小值问题.在 条件下,求P1(e)的条件极值问题.令 2.2.4 最小最大决策 从最小错误率或最小风险贝叶斯决策中可以看出其决策都是 与先验概率P(wi)有关的.如果对给定的x,其P(wi)不变,按照贝 叶斯决策规则,可以使错误率或风险最小.但如果P(wi)是可变的, 或事先对先验概率毫无所知