则判x ∈ ω 1.ppt

第七章 判别分析 1 贝叶斯判别法 2 距离判别法 3 Fisher 准则 引言 判别分析就是解决分类问题，模式识别的分类问题就是根据待识别对象的特征向量值及其它约束条件将其分到某个类别中去。统计判别分析理论是模式分类问题的基本理论之一,它对模式分析和分类器的设计有着实际的指导意义,贝叶斯(Bayes)决策方法是统计模式识别中的一个重要方法,是处理模式分类问题的基本理论之一。本节要讨论的贝叶斯分类器在统计模式识别中被称为最优分类器。 例1 癌细胞识别问题: 如何区分正常细胞与癌细胞? 模式识别问题 假设对象来自m个不同的类,用d个特征来描述对象. 特征向量 x= ( x1, x2, ... xd )T , x也称为模式. 特征(模式)空间 S 所有的特征(模式)构成的集合. S为d维空间R d的一个子集,模式x是S中的一个点. 1 Bayes判别法 最小错误率判别规则 参数估计 计算实例 最小错误率判别规则 1) 问题描述 2) 判别规则 3) 参数估计 4) 计算实例 1) 问题描述 在模式分类问题中,人们往往希望尽量减少分类的错误.从这样的要求出发,利用Bayes公式,可得出使错误率最低的分类规则,称之为基于最小错误率的贝叶斯分类决策 用类别条件概率大小来确定x的类别 应充分利用待识细胞的特征向量x中所包含的信息. 在给定x的情况下,类别ω 1, ω 2出现的概率P (ω 1 / x)与P (ω 2 / x)是不一样的 2) 判别规则 Bayes公式是通过待识样本提供的模式特征信息x 将类先验概率 P ( ωi )转化为类后验概率P (ω i / x) 等价的判别规则 3) 参数估计 4) 计算实例 例1 有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到如下统计数字： ①这批人中，每1000人有5个癌症病人； ②这批人中，每100个正常人有1人对试验 的反应为阳性， ③这批人中，每100个癌症病人有95入对 试 验的反应为阳性。 通过普查统计，该医院可开展癌症诊断。 现在某人试验结果为阳性，诊断结果是什么? P (ω 1) = 0.995, P (ω 2) = 0.005 P (阳性/ω 1) = 0.01, P (阴性/ω 1) = 0.99 P (阳性/ω 2) = 0.95, P (阴性/ω 2) = 0.05 由此可算得 2 最小距离准则 最小欧氏距离准则 最小马氏距离准则 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i类的重心距离最近，就认为它来自第i类。 距离判别法对各类（或总体）的分布，并无特定的要求。 1) 最小欧氏距离准则 d 维空间中两个向量之间的欧氏距离 最小欧氏距离分类器构造简便，使用方便, 但是分类效果常常不理想。分类效果不好的原因在于判别函数的权向量及阈值仅仅利用了各类样本的均值信息，而没有充分利用样本的其它信息。 2) 最小马氏距离准则 3 Fisher 准则 Fisher判别法要解决的问题 必要的基本参量 Fisher准则函数 1) Fisher判别法要解决的问题 应用统计方法解决模式识别问题时，在低维空间里行得通的方法，在高维情况里往往行不通。因此，降低维数有时就成为处理实际问题的关键。 2) 必要的基本参量 3) Fisher准则函数 我们希望投影后，在一维Y空间里各类样本尽可能分得开些，即希望两类均值差越大越好；同时希望各类样本内部尽量密集，即希望类内离散度越小越好。故，定义Fisher准则函数为： 求使JF(w)取极大值时的w* 例1 对全国30个省市自治区1994年影响各地区经济增长差异的制度变量：x1—经济增长率（%）、x2—非国有化水平（%）、x3—开放度（%）、x4—市场化程度（%）作判别分析。 上述回判结果表明，第一组的第10号仍被回判为第2组，说明第10号样品确为误分。而第二组的第16号被回判为第一组，仔细研究其指标，发现其数据介于第1组和第2组之间，差别不显著造成的。总的回代判对率为25/27=92.59%。 分母与w的关系： 最后可得显式为： 注：此式与w的长度无关 JF(w)是广义Rayleigh商 可以用 Lagrange 乘子法求解。 即分母等于非零常数。 定义Lagrange函数为： 令偏导数为零，得： 式中λ为Lagrange乘子。对w求偏导数，得： 由于JF(w)与w的长度无关，可令 其中w*就是JF(w)的极值解。因为Sω非奇异，可得： 而： 式中R=(m1-m2)