贝叶斯决策理论与统计判别方法.pdfVIP

第2 章 贝叶斯决策理论 从上一章可以看出，模式识别的基本问题是分类问题，即根据待识别对象所具有的属性 特征，将其划归到某个类别中去。本章介绍模式识别理论中的贝叶斯决策理论。贝叶斯决策 理论是统计模式识别中的一个基本方法，是一种将特征空间划分为子空间的方法，对模式分 析和分类器的设计起指导作用。贝叶斯决策理论的核心是当给定具有特征向量 X 的待识别 样本时，它属于某一类的可能性有多大？如果能确定属于各个类别的概率，分类决策就有了 依据。例如由某一人脸图像构成的特征向量为X ，X 属于某甲的可能性为70 ％，属于某乙的 可能性为 30 ％。在没有任何样本信息的情况下，则应将图像判决为某甲，以使分类错误更 小，这就是贝叶斯决策理论考虑分类问题的出发点。下面先介绍几个重要的概念。 2.1 几个重要的概念 1. 先验概率 先验概率在分类方法中有着重要的作用，它的函数形式及主要参数或者是已知的，或者 是可通过大量抽样实验估计出来。   P( ) P( ) 若用 和 分别表示为两个类别， 和 表示各自的先验概率，此时满足 1 2 1 2 P()  P( ) 1 1 2 推广到 c 类问题中，, ,  表示 c 个类别，各自的先验概率用 1 2 c P(), P( ), , P( ) 表示，则满足 1 2 c P() P( )  P() 1 1 2 c 在实际的模式识别系统中，有时可以用先验概率作为分类决策的依据。如：有一个装了   双色球的盒子，其中红色球占80 ％，蓝色球占20 ％，如果用 代表红色球， 代表蓝色 1 2 P( ) 0 P( ) 0 球，则   .8 ，   .2 ，现从中任取一个球，若用先验概率对球的颜色做出预 1 2 判，较合理的判决为红色球。先验概率一般不作为判决的唯一依据，但当先验概率相当大时， 它也能成为分类判决的主要考虑因素。 2 ．类（条件）概率密度 X 它是指在某种确定类别条件下，模式样本 出现的概率密度分布函数，常用 p (X |  )(i 1,2, ,c ) 来表示。在本书中，我们采用p( X | ) 表示条件概率密度函数， i i P (X |  ) P i 表示其对应的条件概率。 (*|#)是条件概率的通用符号，在“|”后边出现的#为条 件，之前的*为某个事件，即在某条件#下出现某个事件*的概率，如P( | X ) 是表示在X k  出现条件下，样本为 类的概率。 k 3. 后验概率 它是在某个具体的模式样本 X 条件下，某种类别出现 的概率，常以 P( | X )(i 1,2, ,c) 表示。后验概率可以根据贝叶斯公式（2-1）计