第3章Bayes决策理论概念.ppt

第1章 绪论 第3章 Bayes决策理论 3.1 最小错误概率的Bayes决策 3.2　最小风险的Bayes决策 3.3　Bayes分类器和判别函数 3.4 正态分布时的Bayes决策法则 3.1 最小错误概率的Bayes决策 在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。 假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论： （1）先验概率已知； （2）先验概率和条件概率密度函数均已知。 先验概率已知 铁螺丝出现的概率—— 铜螺丝出现的概率—— 它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。 合理的决策规则： 决策错误的概率： 先验概率和条件概率密度函数均已知 铁螺丝出现的概率—— 铜螺丝出现的概率—— 铁螺丝出现的概率—— 铜螺丝出现的概率—— ——螺丝背光源照射后反射光的亮度特征 求取后验概率： 对待分类模式的特征我们得到一个观察值 ， 合理的决策规则： 决策错误的条件概率（随机变量 的函数）： 模式特征 是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征 ，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率 应是 的数学期望。 平均错误概率 从式可知，如果对每次观察到的特征值 ， 是尽可能小的话，则上式的积分必定是尽可能小的。这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。 例题1图示 例题1图示 3.2 最小风险的Bayes决策 在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险。毋庸置疑，任何风险都会带来一定损失。举例如下： 3.3 Bayes分类器和判别函数 3.4 正态分布时的Bayes决策法则 THANK YOU VERY MUCH ！ 本章到此结束 下一章“概率密度函数的估计” 返回本章首页 （2） ，即各类的协方差矩阵都相等 如果先验概率相等， 只要计算 到各类的均值点 的马氏距离平方，然后把 归于 距离平方最小的类别。 返回本章首页 对以上两类情况进行化简 返回本章首页 决策面方程 返回本章首页 对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系 返回本章首页 （2）各类的协方差矩阵不相等 返回本章首页 返回本章首页 例 考虑一个对两类二维正态分布的样本进行分类的Bayes分类器，设 而且 ， 。 （1） 分别求出两类判别函数的表达式 与 ；（已 知 ， ） （2） 求出两类样本之间的决策面方程，并根据该方程决定样本 ， 的模式类别。 返回本章首页 解： （1）两类判别函数的表达式 返回本章首页 （2）两类样本之间的决策面方程 ， ， 已知两个一维模式类别的类概率密度函数为 先验概率P(?1)= P(?2)=0.5 。(1) 求Bayes判决函数（用0-1损失函数）；(2) 求总误判概率P(e)。 作业 返回本章首页 结 束放映 返回本章首页 这样按最小风险的Bayes决策规则，采取的决策将随 的取值而定，引入函数 ，表示对 的决策。对整个特征空间上所有 的取值采取相应的决策 所带来的平均风险 显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。 到此为止，我们已经分析了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。 返回本章首页 两类情况下的最小风险Bayes决策 返回本章首页 在两类问题中，若有 ，决策规则变为 这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。 返回本章首页 一般的多类问题中，设损失函数为0-1损失函数 返回本章首页 返回本章首页 例 设在许多模式分类问题中，可以将