第3章判别分析及MATLAB实现(2012).pptVIP

统计方法（判别分析）: 判别分析—在已知研究对象分成若干类型，并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。 距离判别法—首先根据已知分类的数据，分别计算各类的重心，计算新个体到每类的距离，确定最短的距离（欧氏距离、马氏距离） Fisher判别法—利用已知类别个体的指标构造判别式（同类差别较小、不同类差别较大），按照判别式的值判断新个体的类别 Bayes判别法—计算新给样品属于各总体的条件概率，比较概率的大小，然后将新样品判归为来自概率最大的总体 判别分析: 判别分析是利用原有的分类信息，得到体现这种分类的函数关系式（称之为判别函数，一般是与分类相关的若干个指标的线性关系式），然后利用该函数去判断未知样品属于哪一类。 对于给定的数据，用classify函数进行线性判别分析，用mahal函数计算马氏距离。 距离判别的CLASSIFY命令实现： 一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点. 3.平均错判损失最小 3.5 判别分析概说 判别分析: 判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析是一种应用性很强的统计数据分析方法。 判别分析的原理: 判别分析的主要方法: Fisher准则分类的模型: 判别效果检验: 建模实例 : 样本数据 距离判别的CLASSIFY命令实现： 于是判别准则简化为： 在MATLAB中计算wj(x)的公式为： 其中 下面，我们推导关于后验概率最大的另外一种数学表达式 由于 代入上式得 注意到对数恒等式 分子可化为： 令 于是后验概率可表示为 P(G1|x)P(G2|x) 等价于 d12(x) d22(x) 注意到 是x到Gj的马氏距离平方，由MATLAB软件 P(G1|x)P(G2|x) 等价于 d12(x) d22(x) 等价于 mahal(x,G1)-mahal(x,G2)2log(p1/p2) 显然，当p1=p2时，bayes判别就是距离判别 距离判别与bayes判别的比较： 距离判别与总体的分布无关，信息少，简单 bayes判别比距离判别多了先验概率信息，如果总体不服从多元正态分布，上述推导无效！ （2）两个总体协方差矩阵不相等的情形 设总体的协方差矩阵不相等分别为Σ1,Σ2概率密度函数为： 上式两边取自然对数得 这时 于是，判别函数为： 判别准则为： 若d(x) 则判别x属于第一类； 若d(x)0 则判别x属于第二类； 3.2.4 多个总体的Bayes判别 设有k个总体G1,G2,…,Gk的概率密度为fj(x)各总体出现的先验概率为 pj=P(Gj),j=1,2,…,k,满足 一个判别准则就是空间Rp的一个不相重叠的划分 R1,R2,…,Rk，满足 记R=(R1,R2,…,Rk),则R代表一个判别准则 在判别准则R=(R1,R2,…,Rk)下，将来自Gi的样品误判为Gj的概率为 设来自Gi的样品误判为Gj的损失记为c(j|i)，于是得到损失矩阵 于是来自Gi的样品误判为来自其他总体的概率 当Gj出现的概率为pj，j=1,2,…,k时，误判的平均概率是 于是来自Gi的样品误判为来自其他总体的损失为 来自Gi的样品误判为来自其他总体的平均损失为 在多个总体的判别中，仍然是考虑平均损失最小，即后验概率最大作为判别准则. 判别分析方法最初应用于考古学, 例如要根据挖掘出来的人头盖骨的各种指标来判别其性别年龄等. 近年来, 在生物学分类, 医疗诊断, 地质找矿, 石油钻探, 天气预报等许多领域, 判别分析方法已经成为一种有效的统计推断方法. 假定需要作出判别分析的对象分成 r 类, 记作A1, A2, … , Ar , 每一类由m个指标的若干个标本确定, 即A1, A2,…, Ar为已知的分类. 现在问待判断的对象x = (x1, x2,…, xm)T是属于A1, A2,…, Ar中的哪一类？这就构成了判别分析问题的基本内容. 为了能识别待判断的对象x = (x1, x2,…, xm)T是属于已知类A1, A2,…, Ar中的哪一类？ 事先必须要有