模式识别（李春权）第2章 贝叶斯决策理论.pptVIP

(C) Vipin Kumar, CSci 5980 Data Mining, Spring 2004 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 模式识别: 贝叶斯决策理论 目录 2.1最小错误率贝叶斯决策（重点） 2.2基于最小风险的贝叶斯决策（难点） 2.3正态分布概率密度的定义和性质 2.4多元正态概率模型下的最小错误率贝叶斯决策 贝叶斯(1702-1763) Thomas Bayes. 1702年出生于伦敦，英国神学家、数学家、数理统计学家和哲学家 。 1742年成为英国皇家学会会员。 创立了贝叶斯统计理论.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。 贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。 基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间： 公式 乘法法则 P(A,B)=P(A|B) P(B)=P(B|A)P(A) 贝叶斯公式 全概率公式 全概率下的贝叶斯公式 贝叶斯公式评价 贝叶斯认为：“如果一个人头脑中只要多少相信一点上帝，那怕只有百万分之一的可能性，也就可以根据这点信息，使人们头脑中的上帝存在的概率增加 ” 卡尔·皮尔逊(Karl Pearson)指出：“贝叶斯所导出的定理，神学和社会学的原因比纯粹数学的原因更大。” 林德利(Dennis V·Lindley)说：“他的定理是伟大而又简单的真理之一，与爱因斯坦的E=mc2共存。” 罗纳德·费舍尔(Ronald A·Fisher)表示了强烈反对。但后来承认“贝叶斯的数学贡献……表明他是第一流的独立思想家……”。 统计学领域中的贝叶斯学派与费舍尔经典学派形成分庭抗衡之势。 费舍尔学派强调一切以样本观察值为出发点;而贝叶斯学派则认为还应当加上主观信息。 贝叶斯定理应用（离散） 假设: 一个医生知道患者如果得了脑膜炎（meningitis），那么有50%的几率导致脖子僵硬（ stiff neck） 任何人得脑膜炎的可能是 1/50,000 任何人得脖子僵硬的可能性是 1/20 如果一个人得了脖子僵硬, 他有多大几率得脑膜炎? 贝叶斯定理应用（连续） 假设: 一个医生知道患者如果得了脑膜炎，那么脖子僵硬程度（1-10,1最严重）的概率密度分布，即p(S|M=TRUE)。如果没有得脑膜炎，那么脖子僵硬（stiff neck）程度的概率密度分布，即p(S|M=FALSE) 任何人得脑膜炎的可能是 1/50,000 如果一个病人的脖子僵硬程度S=3.5, 他有多大几率得脑膜炎? 解： 最小错误率贝叶斯决策例子 假设某地区,细胞中正常（ω1）和异常（ω２）的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态光密度(x)，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类，即细胞x倾向于属于正常还是异常。 最小错误率贝叶斯决策例子 利用贝叶斯公式计算两类的后验概率： 最小错误率贝叶斯决策过程（重点） 我们已知： 状态先验概率 类条件概率密度 利用贝叶斯公式 得到的条件概率 称为状态的后验概率 根据后验概率大小进行决策分类 图解 例题 假设大学生下午课堂睡觉（ω1）和没有睡觉（ω２）的先验概率分别为P(ω1)=0.353，P(ω2)=0.647。现有一个学生昨天晚上睡眠时间的长度为5小时(x)，由其类条件概率密度分布曲线查得p(x|ω1)=0.077，p(x|ω２)=0.016，试对该学生进行分类，即该学生倾向于下午睡觉还是不睡。 解： 最小错误率贝叶斯分类器设计过程（重点） 根据训练数据 得到状态先验概率 得到类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本x，计算x的后验概率，根据后验概率大小进行决策分类 设计过程图解 怎样得到先验概率？（重点） 经验 行业专家提供！ 数据 用于分类器设计 的数据，即训练 数据！ 怎样计算先验概率？例题 怎样得到先验概率？例题 假设大学生下午课堂睡觉（ω1）和没有睡觉（ω２）的先验概率分别为P(ω1)=0.353，P(ω2)=0.647。现有一个学生昨天晚上睡眠时间的长度为5小时(x)，由其类条件概率密度分布曲线查得p(x|ω1)=0.077，p(x|ω２)=0.016，试对该学生进行分类，即该学生倾向于下午睡觉还是不睡。 怎样得到下午课堂睡觉的先验概率P(ω1)？ 例题解（模拟） 怎样得到类条件概率密度？（重点） 数据 用于分类器设计的数据，即训