模式识别第二章贝叶斯摘要.pptVIP

* * * * * * * * 它与人工智能关系密切，其目的是用机器完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的工作。 模式识别是一门理论与应用并重的技术科学。 * * * 它与人工智能关系密切，其目的是用机器完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的工作。 模式识别是一门理论与应用并重的技术科学。 * * * * * * * 多元正态分布 观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布： * 多元正态分布的性质 参数μ和Σ完全决定分布 等密度点的轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 * 正态分布的最小错误率Bayes决策 观测向量的类条件分布服从正态分布： 判别函数的计算： 判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略 * 最小距离分类器与线性分类器 第一种特例： 判别函数的简化计算： 最小距离分类器 线性分类器 * (a) 二维模式， ?1=?2=?2I ? 4 ? 3 ?1 ? 2 (b) 二维模式多类问题，?i=?=?2I * 最小距离分类器与线性分类器 第二种特例： 判别函数的简化计算： Mahalanobis距离 线性分类器 * 正态模型的Bayes决策面 两类问题正态模型的决策面： 决策面方程：g1(x)=g2(x) 两类的协方差矩阵相等，决策面是超平面。 两类的协方差矩阵不等，决策面是超二次曲面。 * 正态模型的Bayes决策面 * 正态分布下的几种决策面的形式 * 正态分布的Bayes决策例解 两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000，方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？ * 数学表示：用Ω表示“类别”这一随机变量，ω1表示患病， ω2表示不患病；x表示“白细胞浓度”这个随机变量。 例子中，医生掌握的知识非常充分，他知道： 1) 类别的先验分布：P(ω1) = 0.5%P(ω2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布 正态分布的Bayes决策例解 * 2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|ω1) ~ N(2000,1000) P(x|ω2) ~ N(7000,3000) P(3100|ω1) = 2.1785e-004 P(3100|ω2) = 5.7123e-005 P(ω1|3100)=1.9% P(ω2|3100)=98.1% 医生的判断：正常 正态分布的Bayes决策例解 * 正态分布：二维特征例子 * 2.8 总结 基于Bayes决策的最优分类器 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 * 例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示，其中，类型w1和w2分别表示灌木和坦克，判决a1=w1，a2=w2，a3表示拒绝判决。现在做了四次试验，获得四个样本的类概率密度如下： P(x|w1):0.1, 0.15, 0.3, 0.6, P(x|w2):0.8, 0.7, 0.55, 0.3 * 1.5 1.5 a3 1.0 4.0 a2 2.0 2.5 a1 w2 w1 类型 判决 损 失 问： （1）用最小错率准则，判断四个样本各属哪个类型。 （2）假定只考虑前两种情况，试用最小风险准则判断四个样本各属于哪一个类型。 （3） 把拒绝判决考虑在内，重新考核四次试验的结果。 * 答: 求出四个样本两类的似然比。 最小错误率准则时的阈值： （1） 因此按最小误判概率准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。 * （2） 按最小风险准则判决 因此按最小损失准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。 最小风险准则时的阈值： * （3） 带拒绝的最小风险准则判决 由于是比较大小,可忽略p(x),即只需计算 * （3） 带拒绝的最小风险准则判决 因此第一、 第二、第三、第四样本均拒判。 =2.5*0.7*(0.1,0.15,0.3,0.6)+2.0*0.3*(0.8,0.7,0.55,0.3) =(0.655, 0.683, 0.855, 1.23) =4.0*0.7*(0.1,0.15,0.3,0.6)+1.0*0.3*(0.8,