Bayes决策理论课件.pptVIP

第3章 Bayes决策理论 ;在上一章，我们介绍了线性判别函数，作了一个假设——抽取到的模式样本的边界是“整齐”而不混杂的，而且 以后遇到的待分类模式基本上不超过学习样本的分布范围，从而利用这些样本得到的分类边界是无误差的。但是实际上因为试验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要 的。另外，还有特征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。 ;对模式 识别的主要统计方法是Bayes决策理论，它是用概率论的方法研究决策问题，要求 （1）各类别先验概率以及条件概率密度均为已知 ，即各类别总体的概率分布是已知的； （2） 要决策分类的类别是一定的； ;3.1 最小错误概率的Bayes决策;先验概率已知 铁螺丝出现的概率—— 铜螺丝出现的概率—— 它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。 合理的决策规则： 决策错误的概率：;先验概率和条件概率密度函数均已知 铁螺丝出现的概率—— 铜螺丝出现的概率—— 铁螺丝出现的概率—— 铜螺丝出现的概率—— ——螺丝背光源照射后反射光的亮度特征 求取后验概率： ;对待分类模式的特征我们得到一个观察值 ， 合理的决策规则： 决策错误的条件概率（随机变量 的函数）： 模式特征 是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征 ，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率 应是 的数学期望。;平均错误概率 从式可知，如果对每次观察到的特征值 ， 是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。;返回本章首页;返回本章首页;3.2 最小风险的Bayes决策;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;3.3 Neyman—Pearson决策;返回本章首页;返回本章首页;返回本章首页;返回本章首页;3.4 最小最大决策;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;3.5 Bayes分类器和判别函数;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;3.6 正态分布时的Bayes决策法则;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;返回本章首页;3.7 离散情况的Bayes决策;返回本章首页;返回本章首页;返回本章首页;返回本章首页;课后习题（一）;返回本章首页;THANK YOU VERY MUCH ！