2贝叶斯决策论.ppt

第二章 贝叶斯决策论;难点;2.1 引言;引言（1);2.2 最小错误率Bayes决策准则（朴素贝叶斯分类）（Navie (or Idiot’s) Bayes);一种简单的判决准则：;特征及其类条件概率密度分布;判决问题？;Bayes公式(1);Bayes公式(2);后验概率和错误概率;基于最小错误率的Bayes判决准则;最小错误率; 而判为 ,斜线区域。 而判为 ，纹线区域。 总错误率： 若令t为两类分界面，特征向量x为一维时，t为x轴上的一个点 ; ;要使P(e)最小，判决门限应如上图所示，否则就会有多余的阴影面。而 表达的判决规则，判决门限正好如上图所示，所以称之为“最小错误概率判决规则”。 ;最小错误率判决规则推广:;例题：;(3) 决策过程 ;2.3 最小风险判决规则 ;判决风险：;一般风险矩阵;对于每一种 判决，可求出随机变量 的条件平均风险;例2：在癌症诊断问题中，所有的化验结果可分为两类。w1―正常，w2―癌症。得到的判决也有两种 和 。 风险矩阵：;假设正确判决损失为0，错误判决损失为1，且判决数目与类型数目相等。即有0－1损失函数： ;由最小风险判决知，要使风险最小，即使 这就是最小错误率判决规则。 结论：在0－1损失函数情况下，最小风险判决规则退化为最小错误率判决规则。也就是说，最小错误率判决规则是最小风险判决规则的一个特例。 ;2.4最大似然比判决规则 ;1.由最小错误率判决规则引出最大似然比判决规则 若 ，最小错误率判决规则：;2.由最小风险判决规则引出最大似然比判决规则;定义：判决门限：;例题：正态分布的两类问题;;;2.5 Neyman-Pearsen判决规则 ;;;;;2.6 最小最大判决准则(极小极大准则);总风险：;关系式含义：;2.7 分类器设计;多类情况中的贝叶斯最小错误率判决， 可以定义为： ; 决策面方程 各决策域 被决策面所分割，这些决策面是特征空间中的超曲面，对于相邻的两个决策域 和 ，分割它们的决策面方程应满足： ;在决策面上相邻决策函数的值相等 ，决策边界表现为：点、直线、曲线、平面、曲面、超平面、超曲面等形式。; 分类器设计 功能：先设计出c个判别函数 ，再从中选出对应于判决函数为最大???的类作为决策结果。对于c类问题， ;;两类情况 二分分类器:只有两类模式的分类器。 判决函数 ; 决策面方程;本章小结： 贝叶斯决策论的基本思想非常简单，为最小化总风险，总是选择那些能够最小化条件风险 的行为。为了最小化分类问题中的误差概率，总是选择那些使后验概率 的最大类别。贝叶斯公式允许通过先验概率 和条件概率 来计算后验概率。如果对在模式 中所做的误分的惩罚与模式 的不同，那么在做出判决行为之前必须先根据该惩罚函数对后验概率加权。 贝叶斯分类方法在典型的模式识别中得到广泛应用，该方法的唯一严重的缺点就是计算条件概率密度函数的困难。 Chow是最早将贝叶斯判决理论用于模式识别中的人之一，后来他建立了误差和拒绝率之间的基本关系。;扩展阅读