概率论与数理统计之贝叶斯判别分析.pptVIP

贝叶斯判别分析 汇报人： 学号： 从距离判别法来看，它存在以下不足： （1）判别方法与总体各自出现的概率的大小无关； （2）判别方法与错判之后所造成的损失无关。 从费歇尔判别法来看，它随着总体个数的增加，建立的判别函数式个数也增加，因而计算起来比较麻烦。 如果对多个总体的判别考虑的不是建立判别式，而是计算新给样品属于各总体的条件概率P(l/x)，比较这k个概率的大小，然后将样品判归为来自概率最大的总体，这种判别方法称为贝叶斯判别方法。 贝叶斯判别分析 先验概率和后验概率 先验概率是指根据以往经验和分析得到的概率，它往往作为“由因求果”问题中的“因”出现。 后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因”。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。 先验概率和后验概率的区别： 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料； 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。 1、Bayes判别法基本思想 Bayes判别法的基本思想是假定对所研究的对象已有一定的认识，常用先验概率来描述这种认识；然后抽取一个样本，用样本来修正已有的认识（先验概率分布），得到后验概率分布。各种统计推断都是通过后验概率分布来进行。 2、多元正态总体的Bayes判别法 在实际问题中遇到的许多总体往往服从正态分布，下面给出p元正态总体的Bayes判别法。 （1）判别函数的导出 由前面的叙述可知，使用Bayes判别法作判别分析，首先要知道待判总体的先验概率和密度函数。对于先验概率，一般用样品的频率 来代替 。或者令先验概率相等，这时可以认为先验概率不起作用。 （2）假设协方差阵相等 （3）计算后验概率 例（胃癌的鉴别）为了判别病人是胃癌、还是萎缩性胃炎。现对患有胃癌、萎缩性胃炎和非胃炎患者中随机抽取15个病人，每人化验4项生化指标：血清铜蛋白（X1）、蓝色反映（X2）、尿吲哚乙酸（X3）和中性硫化物（X4），具体数据见表5.10。试用贝叶斯判别分析，对这15个样品进行判别归类。并在此基础上，判断X1=205，X2=140，X3=11，X4=20属于哪一种患者？ 类别 序号 血清铜蛋白 蓝色反应 尿吲哚乙酸 中性硫化物 胃癌患者 胃癌患者 1 228 134 20 11 2 245 134 10 40 3 200 167 12 27 4 170 150 7 8 5 100 167 20 14 非胃癌患者 萎缩性胃炎患者 6 225 125 7 14 7 130 100 6 12 8 150 117 7 6 9 120 133 10 26 10 160 100 5 10 非胃炎患者 11 185 115 5 19 12 170 125 6 4 13 165 142 5 3 14 135 108 2 12 15 100 117 7 2 解 由于 三组判别函数分别为： 判别原则： 样品属于判别函数值最大的一组。 回判结果如表5.11所示： 类别 序号 原分类Actual 回判组别 后验概率 胃癌患者 胃癌患者 1 1 1 0.998 2 1 1 0.977 3 1 1 0.999 4 1 3* 0.578 5 1 1 0.999 非胃癌患者 萎缩性胃炎患者 6 2 2 0.457 7 2 2 0.700 8 2 3* 0.518 9 2 2 0.662 10 2 2 0.616 非胃炎患者 11 3 2* 0.616 12 3 3 0.681 13 3 3 0.839 14 3 3 0.587 15 3 3 0.583 待判者 16 1* 0.996 误判的样本是4、8、11，回判后分别属于3、3、2组，即非胃炎患者、非胃炎患者、萎缩性胃炎患者。 并从表中可以看出，在15名患者数据所构成训练的基础之上，第16个数据（即待判者）属于胃癌患者，从而达到了判别的效果。