第二章贝叶斯决策理论.docVIP

张学工《模式识别》教学课件 PAGE PAGE 36 Xuegong Zhang, Tsinghua University 第二章　贝叶斯决策理论 2.1　引言 统计模式识别：用概率统计的观点和方法来解决模式识别问题 基本概念： 样本(sample) 状态(state) 第一类： ， 第二类： 先验概率 (a priori probablity or prior) ， 样本分布密度(sample distribution density) （总体概率密度） 类条件概率密度(class-conditional probablity density) : ， 后验概率(a posteriori probablity or posterior) : ， 错误概率(probablity of error) : 平均错误率(average probablity of error): 正确率(proabality of correctness): 贝叶斯决策（统计决策理论） 是统计模式识别的基本方法和基础。 是“最优分类器”：使平均错误率最小 条件： 类别数一定，（决策论中把类别称作状态） 已知类先验概率和类条件概率密度 2.2　最小错误率贝叶斯决策 因为 ，，所以上式等价于： for all . 而 ?　　 if , assign 最小错误率贝叶斯决策，简称贝叶斯决策 如何计算后验概率？ 已知 ，， 贝叶斯公式：（Bayesian Theory） If , then assign . 最小错误率贝叶斯决策规则的几种等价表达形式： （1） If ，then （2） If , then （3） If , then （4） 定义 If , then 其中，：似然比， ：似然比阈值， ：对数似然比 图示： 错误率： 多类情况： （1） If , then （2） If , then 错误率：  2.3　最小风险贝叶斯决策 最小错误率只考虑了错误 进一步可考虑不同错误所带来的损失（代价） 用决策论方法把问题表述如下： （1）把样本看作维随机向量 （2）状态空间由个可能的状态（类）组成： （3）对随机向量可能采取的决策组成了决策空间，它由个决策组成： （4）对于实际状态为的向量，采取决策所带来的损失为 ， 形成损失函数。 对于实际问题，损失函数通常以表格形式给出（决策表）。 条件期望损失：对于特定的采取决策的期望损失： 期望风险： 对所有可能的采取决策所造成的期望损失之和。 也称平均风险。 （表示依赖于决策规则） 最小风险决策： 期望风险最小化 对所有，使最小，则可以使最小，因此有： 最小风险贝叶斯决策规则： 计算：可采取以下步骤（对于给定的样本）： （1）计算后验概率： （2）计算风险： （3）决策： 两类情况：（损失函数表，，，） 或 若 则 显然，当，时，最小风险就是最小错误率。 2.4两类错误率、Neyman-Pearson决策与ROC曲线 状态与决策的可能关系 状态 决策 阳性 阴性 阳性 真阳性（TP） 假阳性（FP） 阴性 假阴性（FN） 真阴性（TN） 第一类错误率（Type-I error rate）= 假阳性率 = 假阳性样本数 / 总阴性样本数 第二类错误率（Type-II error rate）= 假阴性率 = 假阴性样本数 / 总阳性样本数 灵敏度（sensitivity） 特异度（specificity）  某些实际情况，可能要求一类错误率控制在很小（不大于某数），在满足此条件的前提下再使另一类错误率尽可能小。 比如： （对分类边界求最小） s.t. ， 是个很小的常数 求解：用Lagrange乘子法： （对分类边界和求最小） 　 　 　 、为两类的决策域，记为它们的边界（一维情况下即分界点）。 （2-25） （2-26） 决策准则： 或 —— 也称Neyman-Pearson决策规则 似然比阈值通过求解（2-25）（2-26）方程得到，但显然不容易。 考虑似然比密度函数，求解 （2-29） 当时，，，（所有类均分到了类） 当时，，，（所有样本都分到，因此不会有错） 利用对的单调性，总可以找到适当的使成立。 但多数情况下，得