[工学]第2章 贝叶斯决策理论与统计判别方法2.ppt

模 式 识 别 徐蔚然 北京邮电大学信息工程学院 本节和前节的关系 上节: 基本概念 阶段性的总结 本节: 概念具体化 结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器的种种情况 本节重点 什么叫正态分布 高斯分布的表达式 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布 即时思考 正态分布？ 正态分布是以哪一位科学家的名字命名的？ 正态分布又称什么？ 所谓正态分布是先验概率、类条件概率密度函数、还是后验概率而言的？ 为什么正态分布假设是使用得最普遍的假设 ？ 正态分布时的统计决策 研究正态分布的原因 数学上比较简单 物理上的合理性 单变量正态分布 单变量正态分布 单变量正态分布概率密度函数定义为 μ表示随机变量x的数学期望 σ2为其方差，而σ则称为标准差。 单变量正态分布 单变量正态分布 思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后验概率P(ωi|X)？ 不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。 单变量正态分布 单变量正态分布具体化 多元正态分布 多元正态分布 μ是X的均值向量，也是d维， μ＝E{X}＝[μ1，μ2，…，μd]T Σ是d×d维协方差矩阵 Σ－1是Σ的逆矩阵 |Σ|是Σ的行列式 Σ＝E{(X－μ)(X－μ) T} Σ是非负矩阵，在此我们只考虑正定阵，即|Σ|＞0。 多元正态分布 讨论二元正态分布 二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布 不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系 多元正态分布 协方差矩阵 用E[(x2-μ2)](x1-μ1)] 来衡量相关性，称为协方差,用符号Σ表示 协方差越大，说明两个变量的相关度越高 非对角元素正表示了两个分量之间的相关性 主对角元素则是各分量本身的方差 多元正态分布 协方差矩阵 协方差矩阵并不只对正态分布有用 特性: 协方差矩阵是一个对称矩阵 特性: 协方差矩是正定的 多元正态分布的性质 (1)参数μ与Σ对分布具有决定性 与单变量相似，记作p(X)～N(μ，Σ) (2)等密度点分布在超椭球面上 (x－μ)ＴΣ－１(x－μ)＝常数 二维时表示一个椭圆，在三维表示椭球，在高维是表示超椭球 (X-μ)ＴΣ －１(X-μ)称为向量X到向量μ的Mahalanobis距离的平方，即 r2＝(x－μ)ＴΣ －１(x－μ) 可将mahalanolbis距离与欧氏距离作比较 前者是一个椭圆，而后者则是圆 多元正态分布的性质 (3)多元正态分布的离散程度由参数|Σ|１／２决定 与单变量时由标准差σ决定是对应一致的 (4)不相关性等价于独立性 两个随机变量不相关: E[xixj]＝E[xi]·E[xj] 两个随机变量统计独立: p(xixj)＝p(xi)p(xj) 两个随机变量不相关，不意味着它们一定独立 相互独立的随机变量，它们之间是不相关的 正态分布中不相关性等价于独立性 多元正态分布的性质 (5)边缘分布和条件分布的正态性 多元正态分布的边缘分布和条件分布仍然是正态分布 (6)线性变换的正态性 这是指多元正态分布的随机向量的线性变换仍然是多元正态分布的随机向量 (7)线性组合的正态性 这是指多元正态分布的随机向量，在经过线性组合后得到的一维随机变量也是正态分布的。 正态分布概率模型下的最小错误率贝叶斯决策 最小错误率决策规则 因此判别函数为 是多元正态分布， 判别函数采用对数形式: 正态分布概率模型下的最小错误率贝叶斯决策 而相应的决策面方程为: 正态分布概率模型下的最小错误率贝叶斯决策 不同情况下决策面的特点 参数: 协方差矩阵和先验概率 这里我们讨论三种情况。 (1)Σi=σ2I i=1,…，c (2)Σi=Σ i=1,…，c (3)Σi?Σj i,j=1,…，c 正态分布概率模型下的最小错误率贝叶斯决策 (1)Σi=σ2I i=1,…，c 每个类的协方差矩阵都相等 类内各特征间相互独立 各特征具有相同的方差σ2 正态分布概率模型下的最小错误率贝叶斯决策 (1)Σi=σ2I i=1,…，c 再分两种情况 先验概率P(ωi)与P(ωj)不相等 先验概率P(ωi)与P(ωj)相等 正态分布概率模型下的最小错误率贝叶斯决策 (1.1)Σi=σ2I P(ωi)?P(ωj) 原判别函数: 判别函数可简化为 由于二项XTX与类别号i无关,可进一步简化: 正态分布概率模型下的最小错误率贝叶斯决策 决