2第二章贝叶斯决策理论.pptVIP

第二章 贝叶斯决策理论 郝红卫 第二章 贝叶斯决策理论 2.1 引言 2.2 贝叶斯决策理论 2.3 最小错误率分类 2.4 最小风险决策 2.5 分类器、判别函数及决策面 2.6 正态密度 2.7 正态分布的判别函数 2.8 错误率与积分 引 言 统计模式识别中的一个基本方法 基本思想：基于概率和决策代价进行分类决策 基本假设 问题可以用概率的形式来描述 所有相关概率值已知 引 言 在给出抽象的推导之前，我们首先从具体例子入手，仍以鱼的分类为例 传送带上出现哪种鱼是随机的，在两类的假设下，则要么是鲈鱼，要么是马哈鱼 引入符号ω 来表示类别： ω = ω1 鲈鱼 ω = ω2 马哈鱼 ω是随机变量 引 言 如果实际捕到的鲈鱼和马哈鱼的数量相等，则下次在传送带上出现鲈鱼和马哈鱼的可能性也相等 更一般，引入先验概率P(ω)来表达这种可能性： P(ω1) ——鲈鱼的先验概率 P(ω2)——马哈鱼的先验概率 引 言 先验概率反映了在实际的鱼没有出现之前，我们所拥有的对于可能出现哪种鱼的先验知识。比如，我们可以根据季节的不同或捕鱼地点的不同对此做出判断。 引 言 如果仅有两种鱼，则 P(ω1) ＋ P(ω2) ＝ 1 考虑仅用先验概率决策的话，会得到什么样的决策规则？ 引 言 仅用先验概率的决策规则： Decide ω1 if P(ω1) P(ω2) Otherwise decide ω2 引 言 判决结果的好坏取决于先验概率值： 如果P(ω1) 》 P(ω2), 则判为ω1将会在多数情况下是对的； 如果 P(ω1) = P(ω2), 则只有50％的正确率。 如何改进？ 引 言 可以利用观察到的信息来改进 类条件概率密度函数 我们采用光泽度指标 x 来改善决策规则。不同的鱼具有不同的光泽度，将其表示成概率形式的变量：x是一个连续随机变量，其分布取决于类别的状态，则可以表示为 p(x/ω). 这就是“类条件概率密度”函数，即类别为ω 时 x 的概率密度函数。 引 言 P(x |?1)与 P(x |?2)的不同就表达了鲈鱼与马哈鱼光泽度的差异： 引 言 假定我们知道了 P(?j) 和 p(x/?j) ，j＝1，2 进一步假定通过观察和测量，我们得到了某条鱼的光泽度 为 x 此观察结果将如何影响我们对类别的判断？ 引 言 某个模式属于类别?j 并具有特征值 x 的联合概率密度可以写成两种形式： p(?j , x) = P(?j|x)p(x) = p(x|?j )P(?j). 引 言 整理可得贝叶斯公式 这就是我们问题的答案！ 其中，在两类情况下： 引 言 后验概率 通过观察 x 的值，我们可以将先验概率P(?j) 转换为后验概率 P(?j | x) ——假定特征值 x 已知的条件下类别是 ?j 的概率。 引 言 似然函数（likelihood） 称 p(x|?j) 为 ?j 关于 x 的似然函数，在其他条件相等的情况下，p(x|?j)越大，?j 就越有可能是真实的类别。 引 言 注意后验概率主要由先验概率和似然函数的乘积所决定， p(x)可看成仅仅是一个比例因子，其作用是保证各类的后验概率总和为一，从而满足概率条件。 引 言 假设有某个观测值 x， 若 x 使得 P(?1|x) P(?2|x)，则我们自然会做出真实类别是 ?1 的判决 若 x 使 得 P(?2|x) P(?1|x)，则我们更倾向于选择?2 据此规则进行一次判决的错误概率： 显然，对于某个给定的x，采用上述规则可以使错误概率最小。 问题是，这一规则能够使得平均错误概率最小吗？ 引 言 平均错误概率： 如果对于每个 x 我们都能保证P(error|x)尽量小，则上述积分值也必然最小 因此可得贝叶斯决策规则： 引 言 贝叶斯决策规则： Decide ?1 if P(?1 | x) P(?2 | x) Otherwise decide ?2 引 言 这种规则强调了后验概率的重要性 引 言 式中p(x)仅为一比例因子，略去后，得到如下完全等价的判决规则： Decide ?1 if p(x|?1)P(?1) p(x|?2)P(?2) Otherwise decide ?2 引 言 考察一些特殊情况以获得对问题更为深入的了解 如果对某个 x 有 p(x |?1 )＝p(x |?2) ，表明本次观测没有获得新信息，判决完全取决于先验概率 如果P(?1 )＝P(?2) ，表明两类等可能