第3章Bayes决策理论.pptxVIP

第三章 Bayes决策理论;引言 模式特征的不确定性 进行模式识别，首先要提取和选择模式特征，使这些特征组成的特征向量能很好地代表这个事物。但是，在实际问题中，由于技术或经济上的原因，使得提取和选择的特征不一定能准确地描述这个模式。 比如， 特征选择的不合适，特征的数量不当，特征测量的不准确，等等，使模式具有不确定性。 因此，我们应当把模式向量看成随机变量。 处理随机变量用什么方法呢？ 概率论与数理统计 ;1.概率 频率：如果在 n次重复试验中，事件A发生了 次，则称比值 是事件A在这n次试验中发生的频率。记作 概率：在相同条件下重复进行同一试验，如果随着试验次数n的增加，事件A的频率 仅在某个数 附近有微小变化，则称 是事件A的概论， 实际上， 是不容易得到的，常用n较大时的频率作为A的概率 ;2. 条件概率 设A，B是试验E的两个事件，则称 为在事件B发生条件下事件A的条件概率。 3. Bayes公式 含义：假设 是某个过程的n个事件， 是各事件出现的概率，称为先验概率。如果这个过程得到一个结果B，由于B的出现，而对各事件 的概率要做出重新认识。 ;3.1 最小错误概率的Bayes决策 1.用先验概率决策 假设某个工厂生产两种尺寸和外形都相同的螺钉,一种是铁的,一种是铜的,两种产品混在一起,要求对它们进行自动分类。 设 铁的类别状态用 表示； 铜的类别状态用 表示； 因为事先类别状态是不确定的，所以 是随机变量。假设铁螺钉有7万个，铜螺钉有3万个，那么铁螺钉出现的概率 ，铜螺钉出现的概率; 如果用概率 和 来决策，规则为： 如果 则螺钉 如果 则螺钉 因为 ，所以 螺钉 。 所有螺钉都分到铁螺钉这一类，决策错误概率为0.3。 用先验概率决策存在的问题？ 与待识别对象的特征没有建立联系，没有利用待识别对象本身的信息; 2.用后验概率决策 先用一个模式特征 来分??，如果这个特征对分类是有效的，那么 的概率分布就与类别状态 是有联系的。 例如：铜螺钉和铁螺钉的表面亮度是不同的，以亮度作为特征 ，亮度用“亮度计”来测量，每个螺钉的亮度在亮度计上可以在一定范围内连续取值。由于每个螺钉的亮度可能是不同的，所以 是一个连续的随机变量。; 对 的概率分布记为 对 的概率分布记为 那么 和 的差别 反映了 和 的类别状态的差别 反映了两类模式的差别。 ;假设已经知道了 ， ， ， 如何求 利用Bayes公式： 式中 Bayes公式表明,可以通过特征的观察值 ，把先验概率 转化为后验概率 。 ; 图3.1表示了当(a)所示时，后验概率 随亮度的变化情况。 因此，可以用后验概率进行决策。 ;决策规则： 如果 ，则决策 ； 如果 ，则决策 ； 这个决策规则被称为最小错误概率的Bayes决策。 为什么说这个决策规则具有最小错误概率呢？ ;3. 最小错误概率的解释 在用上述规则决策时,有两种可能发生的错误分类 将真实属于 分到 将真实属于 分到 观察到的x值不同,那么后验概率就不同,从而分类错误概率也不同,所以分类错误概率 是随机变量x的函数. 也是随机变量.;对于观