第三章bayesian.ppt

第二章 贝叶斯决策理论 * 正态模型的Bayes决策面 正态分布Bayes决策 正态分布下的几种决策面的形式 正态分布Bayes决策 第二章 贝叶斯决策理论 * 贝叶斯理论例 癌症诊察 已知：1）某项指标的化验数据，输出：+，- 2）先验知识： 所有人口中患该病的概率0.08%； 患者中98%呈阳性反应（+），正确； 患者中2%呈阴性反应（-），漏警； 非患者97%呈阴性反应（-），正确； 非患者3%呈阳性反应（+），虚警。 第二章 贝叶斯决策理论 * 贝叶斯理论例 如果某人化验结果为+，该病人患癌症的可能性： 第二章 贝叶斯决策理论 * 贝叶斯理论例 后验概率： P（+ ） Cancer 非Cancer 第二章 贝叶斯决策理论 * 正态分布的Bayes决策例解,不作要求 两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000，标准差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，标准差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？ 正态分布Bayes决策 第二章 贝叶斯决策理论 * 数学表示：用ω表示“类别”这一随机变量，ω1表示患病， ω2表示正常；x表示“白细胞浓度”这个随机变量。 本例医生掌握的知识非常充分，他知道： 1) 类别的先验分布：P(ω1) = 0.5%P(ω2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布 正态分布Bayes决策 正态分布的Bayes决策例解 第二章 贝叶斯决策理论 * 2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|ω1) ~ N(2000,10002) P(x|ω2) ~ N(7000,30002) P(3100|ω1) = 2.1785e-004P(3100|ω2) = 5.7123e-005 计算后验概率P(ω1|3100)=1.9%P(ω2|3100)=98.1% 医生的判断：正常 正态分布Bayes决策 正态分布的Bayes决策例解 第二章 贝叶斯决策理论 * 3.6 讨论 基于Bayes决策的最优分类器 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 问题的转换： 基于样本估计概率密度 基于样本直接确定判别函数 第二章 贝叶斯决策理论 * 习题 试简述先验概率，类条件概率密度函数和后验概率等概念间的关系： 试写出利用先验概率和分布密度函数计算后验概率的公式 写出最小错误率和最小风险决策规则相应的判别函数（两类问题）。 用Matlab计算两类识别问题：根据血液中白细胞的浓度来判断病人是否患血液病。 第二章 贝叶斯决策理论 * 先验概率、类条件概率密度函数和后验概率 1. 试简述先验概率，类条件概率密度函数和后验概率等概念间的关系： 先验概率：根据大量统计确定某类事物出现的比例，如在我国大学中，一个学生是男生的先验概率为0.7，而为女生的概率是0.3，这两类概率是互相制约的，因为这两个概率之和应满足总和为1的约束。 类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。这种分布密度只对同一类事物而言，与其它类事物没有关系。为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。例如x表示某一个学生的特征向量，则，男生的概率密度表示成P(x|男生)，女生的表示成P(x|女生)，这两者之间没有任何关系，即一般的情况下P(x|w1)+P(x|w2)≠1，可为从[0,2]之间的任意值。 后验概率：一个具体事物属于某种类别的概率，例如一个学生用特征向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)，这就是后验概率。由于一个学生只可能为两个性别之一，因此有P(男生|x)+P(女生|x)=1的约束，这一点是与类分布密度函数不同的。后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，因此P(男生|x)和P(男生)是两个不同的概念。 * * 它与人工智能关系密切，其目的是用机器完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的工作。 模式识别是一门理