判别分析及MATLAB实现.ppt

令 于是 于是判别准则简化为： 在MATLAB中计算wj(x)的公式为： 其中 下面，我们推导关于后验概率最大的另外一种数学表达式 由于 代入上式得 注意到对数恒等式 分子可化为： 令 于是后验概率可表示为 P(G1|x)P(G2|x) 等价于 d12(x) d22(x) 注意到 是x到Gj的马氏距离平方，由MATLAB软件 P(G1|x)P(G2|x) 等价于 d12(x) d22(x) 等价于 mahal(x,G1)-mahal(x,G2)2log(p1/p2) 显然，当p1=p2时，bayes判别就是距离判别 距离判别与bayes判别的比较： 距离判别与总体的分布无关，信息少，简单 bayes判别比距离判别多了先验概率信息，如果总体不服从多元正态分布，上述推导无效！ （2）两个总体协方差矩阵不相等的情形 设总体的协方差矩阵不相等分别为Σ1,Σ2概率密度函数为： 上式两边取自然对数得 这时 于是，判别函数为： 判别准则为： 若d(x) 则判别x属于第一类； 若d(x)0 则判别x属于第二类； 2.4 多个总体的Bayes判别 设有k个总体G1,G2,…,Gk的概率密度为fj(x)各总体出现的先验概率为 pj=P(Gj),j=1,2,…,k,满足 一个判别准则就是空间Rp的一个不相重叠的划分 R1,R2,…,Rk，满足 记R=(R1,R2,…,Rk),则R代表一个判别准则 在判别准则R=(R1,R2,…,Rk)下，将来自Gi的样品误判为Gj的概率为 设来自Gi的样品误判为Gj的损失记为c(j|i)，于是得到损失矩阵 于是来自Gi的样品误判为来自其他总体的概率 当Gj出现的概率为pj，j=1,2,…,k时，误判的平均概率是 于是来自Gi的样品误判为来自其他总体的损失为 来自Gi的样品误判为来自其他总体的平均损失为 在多个总体的判别中，仍然是考虑平均损失最小，即后验概率最大作为判别准则. 5 判别分析概说 判别分析方法最初应用于考古学, 例如要根据挖掘出来的人头盖骨的各种指标来判别其性别年龄等. 近年来, 在生物学分类, 医疗诊断, 地质找矿, 石油钻探, 天气预报等许多领域, 判别分析方法已经成为一种有效的统计推断方法. 假定需要作出判别分析的对象分成 r 类, 记作A1, A2, … , Ar , 每一类由m个指标的若干个标本确定, 即A1, A2,…, Ar为已知的分类. 现在问待判断的对象x = (x1, x2,…, xm)T是属于A1, A2,…, Ar中的哪一类？这就构成了判别分析问题的基本内容. 判别分析: 判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析是一种应用性很强的统计数据分析方法。 判别分析的原理: 为了能识别待判断的对象x = (x1, x2,…, xm)T是属于已知类A1, A2,…, Ar中的哪一类？ 事先必须要有一个一般规则, 一旦知道了x的值, 便能根据这个规则立即作出判断, 称这样的一个规则为判别规则. 判别规则往往通过的某个函数来表达, 我们把它称为判别函数, 记作W(i; x). 一旦知道了判别函数并确定了判别规则，最好将已知类别的对象代入检验，这一过程称为回代检验，以便检验你的判别函数和判别规则是否正确. 判别分析的主要方法: 判别分析的主要方法有距离判别方法、费希尔 (Fisher)判别方法、贝叶斯(Bayes)判别方法. 距离判别方法：判别函数W(i; x) = d (x, Ai ), 其中d (x, Ai )为待判别对象x到第i类Ai的距离. 判别规则为若W(k; x) = min{W(i; x)| i =1, 2, … , r }, 则x∈Ak . 贝叶斯(Bayes)判别方法：判别函数W(i; x ) = pi?i(x), 其中pi为待判别对象x∈Ai的概率,如果没有任何这种附加的先验信息,通常取pi = 1/r. ?i(x)为已知类别Ai的分布密度判别规则为若W(k; x ) = max{W(i; x )| i =1, 2, … , r },则x∈Ak. Fisher准则分类的模型: 费歇（Fisher）判别法是一种线