第二章2_1-2.ppt

第二章 贝叶斯决策理论 2.1 引言 贝叶斯（Bayes）决策理论前提要求： （1）各类别总体的概率分布已知 （2）要决策分类的类别数是一定的 设要研究的分类问题有c个类别，各类别状态用 表示，其出现的概率 及类条件率密度函数 已知。 问题：在特征空间已观测到某一向量x，该把他分到那一类最合适呢？ 第二章 贝叶斯决策理论 2.2 几种 常用的决策规则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 分类器设计 2.2.1 基于最小错误率的贝叶斯决策 在模式分类问题中，基于尽量减少分类的错误的要求，利用概率论中的贝叶斯公式，可得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。 用一个癌细胞识别的例子说明解决问题的过程。假设每个要识别的细胞已做过预处理，抽取出d个表示细胞基本特性的特征，成为一个d 维空间的向量x，识别的目的是要将x分类为正常或异常细胞。 类别的状态用一个随机变量 表示， 表示正常，表示异常时 。 ， 是状态的先验概率。 是正常状态下细胞特征x的类条件概率密度。 是异常状态下细胞特征x的类条件概率密度。 图2.1 类条件概率密度 图2.2后验概率 贝叶斯公式 利用贝叶斯公式 可求出状态的后验概率。 基于最小错误率的贝叶斯决策规则为： 如果 ，x 归类于正常状 ， 如果 ，x 归类于异常状态 。 利用贝叶斯公式(2-1)还可以得到几种最小错误率贝叶斯决策规则 的等价形式： （2）如果 上式利用贝叶斯公式代入（2-2）消去共同的分母而得出的。 （3）若 其中l(x)在统计学中称为似然比，而 称为似然比阈值。 例2.1假设在某个局部地区细胞识别中正常 和异常 两类的先验概率分别为 正常状态： 异常状态： 现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得 试对该细胞x进行分类。 解：利用贝叶斯公式，分别计算出 及 的后验概率 从这个例子可见，决策结果取决于实际观察到的类条件概率密度和先验概率两者。在这个例子中由于状态1的先验概率比状态2的先验概率大好几倍，使先验概率在作出决策中起了主导作用。 我们在前面只是给出了最小错误率贝叶斯决策规则，但尚未证明按这种规则进行分类确实使错误率最小。现在仅以一维情况来完成这一证明，其结果不难推广到多维。 最小错误概率的Bayes决策 错误概率最小？ 错误概率 最小错误概率的Bayes决策 错误概率最小？ 无论判别从哪个方向调整，均导致错误概率的增加！ 2.2.2 基于最小风险的贝叶斯决策 如上所述在模式分类的决策中，使错误率达到最小是重要的。但实际上有时需要考虑一个比错误率更为广泛的概念--风险，而风险又是和损失紧密相连的。 以癌症为例，诊断中正常细胞被误判成异常细胞会给病人带来精神负担，而异常细胞若被误判正常细胞则可能造成早期患者失去进一步检查治疗的机会，这两种误判有不同程度的损失，但显然后者的损失比前者更严重。最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。 下面用决策论的观点进行讨论。 在决策论中称采取的决定为决策或行动，所有可能采取的各种决策组成的集合称决策空间或行动空间。以 表示。而每个决策都将带来一定损失，通常是决策和自然状态的函数。我们可以用决策表来表示以上的关系。决策表的一般形式如表2.1所示。 2.1 一般决策表 以上概念可用数学符号表示，我们设 （1）观察 x 是 d 维随机向量 其中 为d 维随机变量。 （2）状态空间