模式识别　全套课件（下）.PPT

模式识别 讲授课程内容及安排 例题1图示 例题1图示 图例：最小误判概率准则 最小误判概率准则下的判决规则： 如果， 则判 (2) 二维模式，?1??2的几种情况 4.1.3 正态模式分类的误判概率 考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度函数分别为: 特取 ，此时 ?=0 上式表明了误判概率与两类的马氏距离的关系： 随 的增大而单调递减，只要两类马氏距离足够大，其误判概率可足够小。 4.2.1 损失概念、损失函数与平均损失 决策-损失表 条件平均风险 令决策的数目a等于类数c，如果决策?j 定义为判 属于?j 类，那么对于给定的模式 在采取决策?j 的条件下损失的期望为 4.2.2 最小损失准则判决 可以将最小条件平均损失判决规则表示为 如果 则判 若记似然比阈值 4.2.2 最小损失准则判决 4.2.3 含拒绝判决的最小损失判决 4.2.3 含拒绝判决的最小损失判决 4.2.3 含拒绝判决的最小损失判决 判决规则如下： 最小最大损失准则的基本思想： 实际中，类先验概率 P(?i) 往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P(?i) 不确知或变动的情况下使平均损失变大的问题。 应该立足最差的情况争取最好的结果。 由上式可见，当类概密、损失函数?ij 、类域?i 取定后，R是P(?1)的线性函数。 考虑P(?1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(?1)值，并分别按最小损失准则确定相应的最佳决策类域?1 、 ?2 ，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(?1)的关系曲线。 4·4 N-P(Neyman—Pearson)判决 模式识别 第五章 统计决策中的训练、学习 与错误率测试、估计 统计推断概述 参数估计 概密的窗函数估计法 有限项正交函数级数逼近法 第五章 统计决策中的训练、学习 与错误率测试、估计 5·1 统计推断概述 5·2 参数估计 5.2.1 均值矢量和协方差阵的矩法估计 5.2.2 最大似然估计(MLE) 5.2.3 贝叶斯估计(BE) 5·4 概密的窗函数估计法 (1) 是 的渐近无偏估计 证明： P—窗法的特点 适用范围广，无论概密是规则的或不规则的、单峰的或多峰的。 5·5 有限项正交函数级数逼近法 例：用逼近法求如下模式类别的 和  的估计。 解：用正交的二维Hermite多项式来构成正交函数集。 使用最小错误判决规则: 令 模式识别 模式识别 第七章 特征提取与选择 类别可分性判据 离散K-L变换及其在特征提取 与选择中的应用 特征选择中的直接挑选法 第七章 特征提取与选择 7.1 概 述 模式识别的三大核心问题: 通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。 （2）变换法，在使判据J 取最大的目标下，对n 个原始特征进行变换降维，即对原n 维特征空间进行坐标变换，然后再取子空间。 7.2 类别可分性判据 可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。 Jc 性质（1）证明： 考虑函数 f(s) = sa+(1-s)b-asb1-s (a,b>0) Jc 性质（2）证明： 只考虑连续的情况： 因为f(0)=f(1) = 0 ，当 0? s ? 1 时 Jc 性质（5）证明： (三)散度JD (Divergence) ?i类对?j类的平均可分性信息为： (三)散度JD (Divergence) 散度具有如下性质： 对于JC 判据的最小误分概率的上界 为求最佳的s*，使上界取最小值Ch (称为Chernoff界限) s*应满足 上式当P(?1)= P(?2)时， s* =1/2，当P(?1)?P(?2)时， s* ? 1/2 ， 对于c类问题，可采用平均B-判据、C-判据、D-判据： 大盖小问题 在特征空间中，若有某两类间的JB、JC或JD很大，可使平均判据变大，这样就