模式识别第二章贝叶斯决策理论new.ppt

第二章 贝叶斯决策理论 2.1 引言 2.2几种常用的决策规则 2.3正态分布时的统计决策 2.4关于分类器的错误率问题 2.1 引 言 模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别中去。 例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 两类的识别问题。 2.1 引 言 根据医学知识和以往的经验医生知道：患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该 　做出怎样的判断？ 贝叶斯决策理论 贝叶斯决策理论方法的假设： 各类别总体的概率分布是已知的； 要决策分类的类别数是一定的。 在连续情况下，假设要识别的对象有d种特征量x1，x2，…，xd，这些特征的所有可能的取值范围构成了d维特征空间，称 x = [x1，x2，…，xd]T 为d维特征向量。 假设说明 假设要研究的分类问题有c个类别ωi，i =l，2，…，c；对应于各个类别ωi出现的先验概率P(ωi)及类条件概率密度函数p(x/ωi)是已知的。 如果在特征空间已观察到某一向量x， x = [x1，x2，…，xd]T 那么应该把x分到哪一类去才是最合理呢？ 这就是本章所要研究的主要问题。 2.2 几种常用的决策规则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的两类别决策 极小化极大决策 序贯分类方法 2.2.1基于最小错误率的贝叶斯决策 利用概率论中的贝叶斯公式，得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。 举例说明 以鱼分类为例说明解决问题的过程。 假设已抽取出d个表示鱼的特征，成为一个d维空间的向量x，目的是要将x分类为鲈鱼或者鲑鱼。 如果用ω表示状态，就是将x归类于两种可能的自然状态之一，则 ω=ω1 表示鲈鱼 ω=ω2 表示鲑鱼 只以先验概率决策存在问题 假设已知出现鲈鱼的先验概率为P(ω1)和出现鲑鱼的先验概率为P(ω2)。 在两类别问题中存在 P(ω1)+ P(ω2)=1 只以先验概率决策存在问题 若P(ω1) P(ω2)，ω=ω1； P(ω1) P(ω2)，ω=ω2。 如果P(ω1)=0.9 ， P(ω2)=0.1， P(ω1) P(ω2)，出现的鱼归为鲈鱼。如果仅做一次判别，这种分类可能是合理的；如果多次判别，则根本未达到要把鲈鱼与鲑鱼区分开的目的。 解决方法 利用对鱼观察到的光泽度提高分类器的性能。不同的鱼产生不同的光泽度，将其表示为概率形式的变量，设x是连续的随机变量，其分布取决于类别状态，表示为p(x|ω)，即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2)之间的区别就表示为鲈鱼与鲑鱼间光泽度的区别，如图2.1所示： 图2.1 类条件概率密度函数图 概率函数已经归一化，每条曲线下的面积为1 已知：状态先验概率P(ωi)，i=1，2。 类条件概率密度p(x|ωi)，i=1，2，利用贝叶斯公式 条件概率P(ωi|x)称为状态的后验概率 贝叶斯公式实质上是通过观察x把状态的先验概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图2.2所示。 举例 假设在某个局部地区细胞识别中正常(ω1)和异常(ω2)两类先验概率分别为正常状态：P(ω1)=0.9；异常状态：P(ω2)=0.1。现有一待识的细胞，其观察值为x，从类条件概率密度分布曲线上查得p(x|ω1)=0.2，p(x|ω2)=0.4。试对该细胞x进行分类。 解：利用贝叶斯公式，分别计算出ω1及ω2的后验概率。 从这个例子可见，决策结果取决于实际观察到的类条件概率密度p(x|ωi)和先验概率P(ωi)两者。 在这个例子中由于状态ω1的先验概率比ω2的先验概率大好几倍，使先验概率在做出决策中起了主导作用。 最小错误率贝叶斯决策规则证明 错误率－平均错误率，以P(e)来表示，其定义为 多类别决策 在多类决策的最小错误率贝叶斯决策规则。如果 Bayes Decision Theory (General) Generalize Bayes Decision Theory by 允许使用多于一个的特征(allowing to use multi features) 允许多于两种类别状态(allowing to use more that two states) 允许有其他行为而不仅仅是判定类别(allowing actions rather than choosing states) 引入损失函数代替误差概