模式识别(统计决策方法).pptx

自动化学院模式识别统计决策方法 胡静第二章 贝叶斯决策理论2.1 引言2.2 最小错误率贝叶斯决策2.3 最小风险贝叶斯决策2.4 两类错误率、Neyman-Pearson决策与ROC曲线2.5 正态分布时的统计决策2.6 关于分类器的错误率2.7 离散概率模型下的统计决策举例背景介绍 托马斯·贝叶斯 ( Thomas Bayes , 1701—1761)英国牧师、业余数学家。 生活在18世纪的贝叶斯生前是位受人尊敬英格兰长老会牧师，为了证明上帝的存在，他发明了概率统计学原理，遗憾的是，他的这一美好愿望至死也未能实现。 贝叶斯思想和方法对概率统计的发展产生了深远的影响。今天，贝叶斯思想和方法在许多领域都获得了广泛的应用。 贝叶斯理论及应用数学领域? 贝叶斯分类算法(应用:统计分析、测绘学) ? 贝叶斯风险(应用:统计决策论) ? 贝叶斯公式 (应用:概率空间) ? 贝叶斯估计(应用:参数估计) ? 贝叶斯区间估计(应用:数学中的区间估计) ? 贝叶斯统计(应用:统计决策论) ? 贝叶斯序贯决策函数 (应用:统计决策论) ? 经验贝叶斯方法(应用:统计决策论) 工程领域? 贝叶斯定理(应用:人工智能、心理学、遗传学) ? 贝叶斯分类器(应用:模式识别、人工智能) ? 贝叶斯分析(应用:计算机科学) ? 贝叶斯决策(应用:人工智能) ? 贝叶斯逻辑(应用:人工智能) ? 贝叶斯推理(应用:数量地理学、人工智能) ? 贝叶斯网络(应用:人工智能) ? 贝叶斯学习 (应用:模式识别) 其他领域? 贝叶斯主义(应用:自然辩证法) ? 有信息的贝叶斯决策方法(应用:生态系统生态学) 2.1 引言统计模式识别：用概率统计的观点和方法来解决模式识别问题基本概念： 样本(sample) 状态(state) 第一类： ， 第二类： 先验概率 (a priori probablity or prior)， 样本分布密度(sample distribution density) (总体概率密度）类条件概率密度(class-conditional probablity density) : ，预备知识--统计概率统计概率:若在大量重复试验中，事件A发生的频率稳定地接近于一个固定的常数p，它表明事件A出现的可能性大小，则称此常数p为事件A发生的概率，记为P(A), 即 p＝P(A)实际上，求出的P为频率，但是如果统计次数足够大，可以认为此时的频率接近概率 可见概率就是频率的稳定中心。任何事件A的概率为 0＜=P(A)＜=1 条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率，而称P(A)为无条件概率。2.1 引言和类条件概率密度对比看看后验概率(a posteriori probablity or posterior) : ,错误概率(probablity of error) : 平均错误率(average probablity of error): 正确率(proabality of correctness): 2.1 引言贝叶斯决策的前提条件，不是条件概率的条件贝叶斯决策（统计决策理论）是统计模式识别的基本方法和基础。是“最优分类器”：使平均错误率最小条件：类别数一定， （决策论中把类别称作状态）已知类先验概率和类条件概率密度 目标：2.2 最小错误率贝叶斯决策平均错误率因为 ， ，所以上式等价于： for all .而 ?　If , assign ------ 最小错误率贝叶斯决策，简称贝叶斯决策 2.2 最小错误率贝叶斯决策怎么来的？很难记？如何计算后验概率？已知 ，， 贝叶斯公式：（Bayesian Theory） If , then assign . 贝叶斯公式推导条件概率:我们把事件B已经出现的条件下，事件A发生的概率记做为P(A|B)。并称之为在B出现的条件下A出现的条件概率。例：假设n次实验中，点目标出现m次，点目标被成功检测出来k次，那么条件概率P(成功检测目标|输入是点目标)=k/m=(k/n)/(m/n)= P(成功检测目标 并且 输入是点目标)/P(输入是点目标的概率) 所以有 P(A|B)=P(AB)/P(B) P(B)0P(AB)＝P(B)·P(A|B)贝叶斯公式推导两个不相容(互斥)事件之和的概率,等于两个事件概率之和,即 P(A+B)=P(A∪B)=P(A或B)＝P(A)＋P(B) A∩B=ΦP(检测出点目标)+P(检测出斑目标)＝P(检测出点目标或检测出斑目标)联合