多元统计分析第三节 贝叶斯准则下的.pptVIP

第三节 贝叶斯准则下的两类线性判别模型 一、概述 1、多类判别 样品个体来自于多个母体(多个类)，建立判别模型，判定未知样品属于那一类。 2、共有Ｇ个类，分别从各类中取已知是某类的若干个（ng,g=1,2,…G）样品，来建立判别模型。理论上要求这Ｇ个群的样品是互不相交的，即要求没有一个样品既属于这类又属于另一类，但实际上很难做到，对于一个未知样品，求其属于各类的概率，其属于那一类的概率最大，就判定其属于哪 一类。这就是贝叶斯准则的理论基础。 二、概率论部分的基础知识 1、几个概念 一个袋中有１５个球，３白，７黑，５红 即Ｇ＝３ 白球上有记号： １，２，３ 黑球上有记号： １，２，３，４，５，６，７ 红球上有记号： １，２，３，４，５ （1）先验概率（qg） 任取一球，其是白球,黑球，红球的概率分别是： q1=３／１５，q2=７／１５ q3=５／１５ q1＋q２＋q３=１ （2） 条件概率 已知个体来自于母体Ａg(g=1,2,…G)的条件下，观测到个体来自于个体x的概率。 取一球，已知是白的，其球上字为２的概率。 Ｐ{x/A1}=1/3 （3）后验概率 已观测到了个体x的条件下，个体x来自于某母体的概率：也就是个体x属于母体Ag的概率。 如已知摸到一球字样是２，问其球来自于白球、黑球、红球的概率是多少？ 求 Ｐ（Ａ１／x）＝？ 2、几个基本公式 条件概率公式 P(B/A)=P(AB)/P(A) P(x/A1)=P(xA1)/p(A1)=(1/15)/(3/15)=1/3 概率乘法公式 P(AB)=P(A)P(B/A)=P(BA)=P(B)P(A/B) （4） 条件概率公式 如有： 上例中 三、贝叶斯准则 设共有Ｇ类样品（Ａg，g=1,2,…G）即Ｇ个母体，每类样品中取ng个样品 此Ｇ类样品，如果有： 其中，Ｘ＝[x1, x2,….xp]’; 参数ag和∑分别为母体Ａg的均值向量和协方差矩阵，即 2. 计算步骤 1) 读入数据 2) 求平均值 4) 求判别函数系数 * 全概率公式 设有Ｂi个母体,如有 此式即为贝叶斯公式， 对于一未知样品，其属于第g(g=1,2,..G) 类的概率为Ｐ（Ａg/x）， 其属于那一类的概率最大， x即判归那一类。 这就是贝时斯准则。 其中Ｐ（Ａg）=qg=ng/n P(x/Ai)=fi(x) (i=1,2,…G) 因为比较时只要比较x属于某类母体的大小， 因而只要比较qgfg(x)即可 四、计算  由于Ｇ个母体Ａg 服从正态分布N(ag,∑)(g=1,2,…G), 所以其概率分布密度函数为 ∑是对称矩阵； ∑－１是∑的逆矩阵； |∑-1|为 ∑-1的行列式。 只要比较qgfg(x),将此比较式， 在实际问题中，用 作为ag的估计值；用S＝[skj]p×p 作为?的估计值。记S的逆矩阵 ，则此时正态母体的密度函数可改写为 判别函数为qgfg(x)。 由于我们只关心寻求使qgfg(x)最大的g,故可取对数 去掉与g无关的项，并记 j=1,2,…,p; g=1,2,…,G 最后可得判别函数 g=1,2,…,G 把个体 的值代入判别函数，计算出y1(x), y2(x),…, yG(x), 如果 则把x划归第g*个母体。 3) 求协方差矩阵的估计S及S-1 判别函数 *