第2章贝叶斯决策理论与统计判别方法2.ppt

正态分布概率模型下的最小错误率贝叶斯决策 三维特征 正态分布概率模型下的最小错误率贝叶斯决策 (1.2)Σi=σ2I P(ωi)=P(ωj) P(ωi)?P(ωj)时决策面方程 WT(X－X0)＝0 P(ωi)=P(ωj)时决策面方程 WT(X－X1)＝0 W＝μi-μj W＝μi-μj 正态分布概率模型下的最小错误率贝叶斯决策 一维特征 正态分布概率模型下的最小错误率贝叶斯决策 二维特征 正态分布概率模型下的最小错误率贝叶斯决策 三维特征 正态分布概率模型下的最小错误率贝叶斯决策 在Σi=σ2I P(ωi)=P(ωj)条件下，正态分布概率模型下的最小错误率贝叶斯决策等价于最小距离分类器 最小距离分类器的定义 每个样本以它到每类样本均值的欧氏距离的最小值确定其分类，即 如果 则X∈ωi 正态分布概率模型下的最小错误率贝叶斯决策 最小欧氏距离是决定分类的准则 正态分布概率模型下的最小错误率贝叶斯决策 (2)Σi=Σ 也是一种比较简单的情况 各类协方差矩阵都相等 从几何上看各类别样本集中于以该类均值为中心的同样大小和形状的超椭球内 正态分布概率模型下的最小错误率贝叶斯决策 在二维特征空间的情况 正态分布概率模型下的最小错误率贝叶斯决策 原判别函数: 判别函数可简化为 如果c类先验概率都相等，可进一步简化为 r2就是Mahalanobis距离 模 式 识 别 徐蔚然 北京邮电大学信息工程学院 本节和前节的关系 上节: 基本概念 阶段性的总结 本节: 概念具体化 结合一种比较典型的概率分布来进一步基于最小错误贝叶斯决策分类器的种种情况 本节重点 什么叫正态分布 高斯分布的表达式 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布 即时思考 正态分布？ 正态分布是以哪一位科学家的名字命名的？ 正态分布又称什么？ 所谓正态分布是先验概率、类条件概率密度函数、还是后验概率而言的？ 为什么正态分布假设是使用得最普遍的假设 ？ 正态分布时的统计决策 研究正态分布的原因 数学上比较简单 物理上的合理性 单变量正态分布 单变量正态分布 单变量正态分布概率密度函数定义为 μ表示随机变量x的数学期望 σ2为其方差，而σ则称为标准差。 A univariate normal distribution has roughly 95% of its area in the range |x ? μ| ≤ 2σ, as shown. The peak of the distribution has value p(μ) = 1/√2πσ. 单变量正态分布 单变量正态分布 思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后验概率P(ωi|X)？ 不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。 单变量正态分布 单变量正态分布具体化 其中ωi, σi分别是对ω及σ的具体化。 多元正态分布 多元正态分布 μ是X的均值向量，也是d维， μ＝E{X}＝[μ1，μ2，…，μd]T Σ是d×d维协方差矩阵 Σ－1是Σ的逆矩阵 |Σ|是Σ的行列式 Σ＝E{(X－μ)(X－μ) T} Σ是非负矩阵，在此我们只考虑正定阵，即|Σ|＞0。 多元正态分布 讨论二元正态分布 二维向量，是一个随机向量，每一个分量都是随机变量，服从正态分布 不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系 Samples drawn from a two-dimensional Gaussian lie in a cloud centered on the mean . The ellipses show lines of equal probability density of the Gaussian. 两个二元正态分布的各个分量相同,(即期望(μ1和μ2)方差σ1和σ2都相同),但这两个特征向量在空间的分布却不相同 多元正态分布 协方差矩阵 用E[(x2-μ2)](x1-μ1)] 来衡量相关性，称为协方差,用符号Σ表示 协方差越大，说明两个变量的相关度越高 非对角元素正表示了两个分量之间的相关性 主对角元素则是各分量本身的方差 二维向量的协方差矩阵 多元正态分布 协方差矩阵 协方差矩阵并不只对正态分布有用 特性: 协方差矩阵是一个对称矩阵 特性: 协方差矩是正定的 多元正态分布的性质 (1)参数μ与Σ对分布具有决定性 与单变量相似，记作p(X)～N(μ，Σ) (2)等密度点分布在超椭球面上 (x－μ)ＴΣ－１(x－μ)＝常数