第二章节贝叶斯决策理论资料.pptVIP

1 第1章 绪论 第2章 贝叶斯决策理论 2.0 基本概念 2.1 最小错误概率的Bayes决策 2.2　最小风险的Bayes决策 2.3　Neyman-Pearson决策 2.4　Bayes估计和Bayes学习 2.5 正态分布时的Bayes决策法则 2.6　离散情况的Bayes决策 两个条件： 各类别总体的概率分布是已知的 要决策的类别数是一定的 待识别对象有d种特征测量值，每种特征值都是一个随机变量，组成d维随机向量 d种特征的所有取值范围构成d维特征空间 2.1 最小错误概率的Bayes决策 在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。 假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论： （1）先验概率已知； （2）先验概率和条件概率密度函数均已知。 先验概率已知 铁螺丝出现的概率—— 铜螺丝出现的概率—— 它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。 合理的决策规则： 决策错误的概率： 先验概率和条件概率密度函数均已知 铁螺丝出现的概率—— 铜螺丝出现的概率—— 铁螺丝出现的概率—— 铜螺丝出现的概率—— ——螺丝背光源照射后反射光的亮度特征 求取后验概率： 对待分类模式的特征我们得到一个观察值 ， 合理的决策规则： 决策错误的条件概率（随机变量 的函数）： 模式特征 是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征 ，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率 应是 的数学期望。 平均错误概率 从式可知，如果对每次观察到的特征值 ， 是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。 把分类器看做将特征空间分割成决策区域的装置 2.2 最小风险的Bayes决策 在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策表。 第2章 贝叶斯决策理论 2.0 基本概念 2.1 最小错误概率的Bayes决策 2.2　最小风险的Bayes决策 2.3　Neyman-Pearson决策 2.4　 Bayes估计和Bayes学习 2.5 正态分布时的Bayes决策法则 2.6　离散情况的Bayes决策 2.3 Neyman—Pearson决策 Neyman—Pearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。 2.4 Bayes估计和Bayes学习 第2章 贝叶斯决策理论 2.0 基本概念 2.1 最小错误概率的Bayes决策 2.2　最小风险的Bayes决策 2.3　Neyman-Pearson决策 2.4　Bayes估计和Bayes学习 2.5 正态分布时的Bayes决策法则 2.6　离散情况的Bayes决策 2.5 正态分布时的Bayes决策法则 2.6 离散情况的Bayes决策 返回本章首页 Bayes估计的基本思想：所求得的 的估计值 应使估计损失的期望最小，这种使 或等价地使 取最小值的 的估计值 称为 的Bayes估计。对于 不同的 ，可得到不同的最佳Bayes估计。 这里假定损失函数为平方误差，即 返回本章首页 返回本章首页 返回本章首页 由于 是关于 的二次函数， 确使 或 最 小。上式表明， 的最小方差Bayes估计是在观测 条件下的 的条件期望。在许多情况下，最小方差Bayes估计是最理想的Bayes最优估计器。 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） 返回本章首页 2 Bayes学习 Bayes学习与Bayes估计的前提条件是相同的，Bayes学习不是进行概率的参数估计，而是进行总体概率的推断以获得 ，因此，它们具有某些相同的计算内容，也有不同的计算目标。