模式识别--第三讲 贝叶斯分类器教案.pdf

《模式识别》讲义 2013 版：第三讲 贝叶斯分类器 第三讲 贝叶斯分类器 线性分类器可以实现线性可分的类别之间的分类决策，其形式简单，分类决 策快速。但在许多模式识别的实际问题中，两个类的样本之间并没有明确的分类 决策边界，线性分类器 （包括广义线性分类器）无法完成分类任务，此时需要采 用其它有效的分类方法。贝叶斯分类器就是另一种非常常见和实用的统计模式识 别方法。 一、 贝叶斯分类 1、 逆概率推理 Inverse Probabilistic Reasoning 推理是从已知的条件 （Conditions ），得出某个结论 （Conclusions ）的 过程。 推理可分为确定性 （Certainty ）推理和概率推理 。所谓确定性推理是 指类似如下的推理过程： 如条件 B 存在，就一定会有结果A。现在已知条件B 存在，可以得出 结论是结果A 一定也存在。 “如果考试作弊，该科成绩就一定是 0 分。”这就是一条确定性推理。 而概率推理 （Probabilistic Reasoning ）是不确定性推理，它的推理形式 可以表示为： 如条件 B 存在，则结果A 发生的概率为 P(A|B) 。P(A|B)也称为结果A 发生的条件概率 （Conditional Probability）。 “如果考前未复习 ，该科成绩有 50%的可能性不及格。”这就是一条概率推理。 需要说明的是：真正的确定性推理在真实世界中并不存在 。即使条件 概率 P(A |B)为 1，条件 B 存在，也不意味着结果 A 就确定一定会发生。 通常情况下，条件概率从大量实践中得来，它是一种经验数据的总结， 但对于我们判别事物和预测未来没有太大的直接作用 。我们更关注的是如 果我们发现了某个结果 （或者某种现象 ），那么造成这种结果的原因有多大 可能存在 ？这就是逆概率推理的含义 。即： 如条件B 存在，则结果A 存在的概率为P(A|B) 。现在发现结果A 出现 了，求结果B 存在的概率P(B|A)是多少？ 例如：如果 已知地震前出现 “地震云 ”的概率，现在发现了地震云， 那么会发生地震的概率是多少 ？ 再如：如果已知脑瘤病人出现头痛的概率，有一位患者头痛，他得脑 瘤的概率是多少 ？ 解决这种逆概率推理问题的理论就是以贝叶斯公式为基础的贝叶斯理 论 。 2、 贝叶斯公式 贝叶斯定理于 1763 年提出，它的表述为： 设试验 E 的样本空间为 S ，A 为 E 的事件，B 1 ，B2 ，…，B c 为 S 的一个 划分，且 P(A )0 ，P(B )0(i=1,2,……,c) ，则 i 第 1 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@bit.edu.cn 《模式识别》讲义 2013 版：第三讲 贝叶斯分类器 P (A | B )P (B ) P (A | B )P (B ) P (B | A) i i i i i c P (A) P (A | B )P (B ) j j j 1 该公式称为 “贝叶斯公式”，其中： P (Bi | A) 称为后验概率 （Posterior Probability ），表示事件A （结果A ）出现 后，各不相