模式识别课件Ch2part1.ppt

Chapter 2: 贝叶斯决策理论 问题提出 几种常用的决策规则 正态分布时的统计决策 错误率估计 离散特征下的贝叶斯决策理论 本章小结 2.1 问题提出 已知 有c个类别?i (i=1,2,…,c) 先验概率P (?i) 似然函数P(x | ?i) ，其中x=[x1, x2,…, xd]T  目标: 对特征空间中已观测到的某一特征向量x实现合理的归类 归结为: 后验概率P(?i | x) 贝叶斯公式 P(?j | x) = P(x | ?j) × P (?j) / P(x) 两类情形下  后验概率 = (似然函数 × 先验概率) / 证据因子 2.2 几种常用的决策规则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 Neyman-Pearson准则 最小最大准则 2.2.1 基于最小错误率的贝叶斯决策 仅按后验概率的大小作判决 基本决策规则（X是一个待识别模式） 若 P(?1 | x) P(?2 | x) ? = ?1 若 P(?1 | x) P(?2 | x) ? = ?2 等价形式1若 P(x | ?1) P (?1) P(x | ?2) P (?2) ? = ?1 若 P(x | ?1) P (?1) P(x | ?2) P (?2) ? = ?2 等价形式2 若似然比 ? = ?1 ;否则? = ?2 等价形式3 若负对数似然比 ? = ?1 ;否则? = ?2 讨论 P(x | ?1) = P(x | ?2) P(?1) = P(?2) P(?1) P(?2) 证明错误率最小 平均错误率：在特征值可能取值的整个范围内错误率的均值 若 P(?1 | x) P(?2 | x) ? = ?1 ;否则? = ?2 因此 P(e | x) = min [P(?1 | x), P(?2 | x)] C类情况下的规则与证明 基本决策规则 若 ? = ?i 等价形式 若 ? = ?i 平均正确率 P(e)=1-P(c) 例2.1 假设在某地区切片细胞中正常(?1 )和异常(?2 )两类的先验概率分别为 P(?1)=0.9， P(?2)=0.1 现有一待识别细胞，其观察值为x，从类条件概率密度分布曲线上查得 P(x | ?1)=0.2， P(x | ?2)=0.4， 试对该细胞进行分类。 解： 根据贝叶斯决策规则，判定该细胞为正常细胞比较合理。 2.2.2 基于最小风险的贝叶斯决策 考虑到不同性质的错误会引起不同程度的损失，引入更一般的损失函数来代替错误率 损失函数精确的阐述了采取每种行为所付出的代价大小，并且用于将概率转换为一种判决 允许有其他行为（拒绝决策）而不仅仅是判定类别 已知 c个类别{?1, ?2,…, ?c} 先验概率P (?i) 似然函数P(x | ?i) ，其中x=[x1, x2,…, xd]T a种可能采取的行为{?1, ?2,…, ?a}, a≥c, ?a=拒识 ?(?i | ?j)表示真实类别状态为?j时采取行动?i的风险,简记?ij  目标: 对特征空间中已观测到的某一特征向量x实现合理（风险最小）的归类 归结为: 条件风险 基本决策规则（两决策问题: ?1判决?1 ,?2判决?2） 若 R(?1 | x) R(?2 | x) ? = ?1 ;否则? = ?2 等价形式1若 (?21 - ?11)P(?1 | x) (?12 - ?22)P(?2 | x) ? = ?1 ;否则? = ?2 等价形式2 若 (?21 - ?11)P(x | ?1) P (?1) (?12 - ?22)P(x | ?2) P (?2)