第三讲 贝叶斯分类器.pdfVIP

《模式识别》讲义 2011 版：第三讲 贝叶斯分类器 第三讲 贝叶斯分类器 线性分类器可以实现线性可分的类别之间的分类决策，其形式简单，分类决 策快速。但在许多模式识别的实际问题中，两个类的样本之间并没有明确的分类 决策边界，线性分类器 （包括广义线性分类器）无法完成分类任务，此时需要采 用其它有效的分类方法。贝叶斯分类器就是另一种非常常见和实用的统计模式识 别方法。 一、 贝叶斯分类 1、 概率推理 贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知 其出现概率的情况下，如何完成推理和决策任务。概率推理是与确定性推 理相对应的。所谓确定性推理是指类似如下的推理过程： 如有条件 B ，就一定会有结果 A ，如条件 B 不存在，则结果 A 一定不 成立；现出现了结果 A ，则条件 B 一定存在。 在这一推理过程中，条件和结果之间的关系是确定的，条件自身和推 理结果也是确定的。 而概率推理是不确定性推理，它的一种推理形式可以表示为 ： 如有条件 B ，则可能会出现结果 A ；现出现了结果 A ，则条件 B 就有 存在的可能。 在这个推理过程中，时间之间的因果关系是一种概率关系，推理是在 结果已知的情况下，反推其条件出现的概率，也称为 “逆概率推理”。如果 对上述概率推理过程的内容用条件概率来表示，即为： P (AB ) 已知条件B 出现时结果A 会发生的条件概率P (A | B) ，需要推导结 P (B ) 果A 已经发生时，条件B 存在的概率，即P (B | A) ? 2、 贝叶斯公式 进行逆概率推理的数学方法是贝叶斯于 1763 年提出的贝叶斯定理，它 的表述为： 设试验 E 的样本空间为 S ，A 为 E 的事件，B ，B ，…，B 为 S 的一 1 2 c 个划分，且 P(A)0 ，P(B )0(i=1,2,……,c) ，则 i P (A | B )P (B ) P (A | B )P (B ) P (B | A) i i i i i c P (A) P (A | B )P (B ) j j j 1 该公式称为 “贝叶斯公式”，其中： P (Bi | A) 称为后验概率，表示事件A （结果A ）出现后，各不相容的条件Bi 第 1 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义 2011 版：第三讲 贝叶斯分类器 存在的概率，它是在结果出现后才能计算得到的，因此称为 “后验”； P (A | B ) 称为类条件概率，表示在各条件B 存在时，结果事件A 发生的概率； j i P (B ) 称为先验概率，表示