第二章bayes决策理论.pdf

第二章 Bayes决策理论 2.0 引言 2.1 基于最小错误率的Bayes决策 2.2 基于最小风险的Bayes决策 2.3 正态分布的最小错误率Bayes决策 2.4 说明 2.0 引言 2.0 引言 统计决策理论——根据每一类总体的概 率分布决定决策边界 Bayes决策理论是统计决策理论的基本方 法 每一类出现的先验概率 类条件概率密度 2.0 引言 例：医生要根据病人血液中白细胞的浓 度来判断病人是否患血液病。 两类的识别问题。 根据医学知识和以往的经验医生知道： 2.0 引言 患病的人，白细胞的浓度服从均值2000 ，方差1000的 正态分布；未患病的人，白细胞的浓度服从均值7000， 方差3000的正态分布； 一般人群中，患病的人数比例为0.5% 。 一个人的白细胞浓度是3100，医生应该做出怎 样的判断？ 2.0 引言 数学表示： 用 表示“类别”这一随机变量，ω Ω 1 ω 表示患病， 表示不患病； 表示 2 X x “ 白细胞浓度”这个随机变量， 表示 浓度值。 2.0 引言 例子中，医生掌握的知识非常充分，他 知道： 类别的先验分布： P (Ω ω ) 0.5% 1 P (Ω ω ) 99.5% 2 先验分布：没有获得观测数据（病人白细 胞浓度）之前类别的分布； 2.0 引言 观测数据白细胞浓度分别在两种情况下的类 条件分布： p (X | Ω ω ) ~ N (2000,1000). 1 p (X | Ω ω ) ~ N (7000,3000). 2 已知先验分布和观测值的类条件分布， Bayes决策理论是最优的。 2.0 引言 决策的概念： S Θ 决策是从样本空间 ，到决策空间 的一个映射， D : S →Θ. 对于刚才的例子，样本空间就是白细胞 浓度的取值范围，决策空间Θ {ω,ω } 1 2 2.0 引言 评价决策有多种标准，对于同一个问题， 采用不同的标准会得到不同意义下“最优” 的决策。 Bayes决策是所有识别方法的一个基准 （Benchmark ）。 Bayes决策两种常用的准则： 最小错误率； 最小风险。 2.1 基于最小错误率的Bayes决策 2.1 基于最小错误率的Bayes决策 决策的错误率P (e) 最小。 错误率与条件错误率P (e | x) ： P e P e x dx ( ) ∫ ( , ) P e x p x dx ∫ ( | ) ( ) E P e x ( ( | )). 错误率是条件错误率的数学期望！ 2.1 基于最小错误率的Bayes决策