第三章bayesianFinal.ppt

第二章 贝叶斯决策理论 * 一元正态分布 正态分布Bayes决策 一元正态分布及其两个重要参数： 均值（中心） 方差（分散度） 第二章 贝叶斯决策理论 * 多元正态分布 观测向量x：实际应用中，可以同时观测多个值，用向量表示。多元正态分布： 正态分布Bayes决策 第二章 贝叶斯决策理论 * 多元正态分布的性质 参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 正态分布Bayes决策 第二章 贝叶斯决策理论 * 参数μ和Σ完全决定分布 正态分布 协方差矩阵是对称矩阵 第二章 贝叶斯决策理论 * 等概率密度轨迹为超椭球面 正态分布 等概率密度轨迹为超椭球面 Mahalanobis距离 第二章 贝叶斯决策理论 * 不相关性等价于独立性 正态分布 多元正态分布的任意两个分量互不相关，则 不相关 独立 第二章 贝叶斯决策理论 * 线性变换的正态性 正态分布 多元正态随机向量x 对x进行线性变换得到多元正态随机向量y 第二章 贝叶斯决策理论 * 线性组合的正态性 正态分布 多元正态随机向量x 对x的分量进行线性组合得到随机标量y 第二章 贝叶斯决策理论 * 正态分布的最小错误率Bayes决策 观测向量的类条件分布服从正态分布： 判别函数的定义与计算： 正态分布Bayes决策 判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略 第二章 贝叶斯决策理论 * 最小距离分类器与线性分类器 第一种特例： 判别函数的简化计算： 正态分布Bayes决策 最小距离分类器 线性分类器 第二章 贝叶斯决策理论 * 最小距离分类器与线性分类器 第二种特例： 判别函数的简化计算： 正态分布Bayes决策 Mahalanobis距离 第二章 贝叶斯决策理论 * 正态模型的Bayes决策面 两类问题正态模型的决策面： 决策面方程：g1(x)=g2(x) 两类的协方差矩阵相等，决策面是超平面。 两类的协方差矩阵不等，决策面是超二次曲面。 正态分布Bayes决策 第二章 贝叶斯决策理论 * 正态模型的Bayes决策面 正态分布Bayes决策 正态分布下的几种决策面的形式 正态分布Bayes决策 第二章 贝叶斯决策理论 * 贝叶斯理论例 癌症诊察 已知：1）某项指标的化验数据，输出：+，- 2）先验知识： 所有人口中患该病的概率0.08%； 患者中98%呈阳性反应（+），正确； 患者中2%呈阴性反应（-），漏警； 非患者97%呈阴性反应（-），正确； 非患者3%呈阳性反应（+），虚警。 第二章 贝叶斯决策理论 * 贝叶斯理论例 如果某人化验结果为+，该病人患癌症的可能性： 第二章 贝叶斯决策理论 * 贝叶斯理论例 后验概率： P（+ ） Cancer 非Cancer 第二章 贝叶斯决策理论 * 正态分布的Bayes决策例解,计算上不作要求 两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000，标准差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，标准差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？ 正态分布Bayes决策 第二章 贝叶斯决策理论 * 数学表示：用ω表示“类别”这一随机变量，ω1表示患病， ω2表示正常；x表示“白细胞浓度”这个随机变量。 本例医生掌握的知识非常充分，他知道： 1) 类别的先验分布：P(ω1) = 0.5%P(ω2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布 正态分布Bayes决策 正态分布的Bayes决策例解 第二章 贝叶斯决策理论 * 2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|ω1) ~ N(2000,10002) P(x|ω2) ~ N(7000,30002) 医生的判断：正常 正态分布Bayes决策 正态分布的Bayes决策例解 第二章 贝叶斯决策理论 * 3.6 讨论 基于Bayes决策的最优分类器 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 问题的转换： 基于样本估计概率密度 基于样本直接确定判别函数 第