五.5.2判别分析.pptVIP

第 5 章判别分析 Discriminant Analysis §5.2 Bayes 判别 5.2.1 Bayes判别的基本思想 Bayes统计的基本思想是：假定对所研究的对象(总体)在抽样前已有一定的认识，常用先验分布描述这种认识，然后，基于抽取的样本对先验认识作修正，得到后验分布，而各种统计推断均基于后验分布进行. 将Bayes统计的思想用于判别分析，就是Bayes判别. 5.2.1 Bayes判别的基本思想 Bayes判别需考虑两个问题 第一个问题是：观测样品的后验概率 设G1, G2, ?, Gk为k个p维总体，分别具有概率密度f1(x), f2(x), … ,fk(x)，它们的先验概率分别为p1, p2, … , pk，在观 测得到一个新样品x后，可用Bayes公式计算它来自总体Gj 的后验概率 5.2.1 Bayes判别的基本思想 在Bayes判别中，还应该考虑的是误判引起的损失. 由于样品的判属由后验概率确定，所以常用平均损失作为误判损失的度量. 5.2.2 两个总体的Bayes判别 ⑶误判概率 当先验概率采用等概率，即p1 = p2 = 1/2，再取估计 误判概率的估计为 5.2.2 两个总体的Bayes判别 ⑶误判概率 当先验概率以训练样本容量比例选取，即 误判概率的估计为 两个总体Bayes判别的计算实例(例5.3) 某气象台预报某地区有无春旱的观测资料中，X1与X2 是与气象有关的两个综合预报因子. 数据包括发生春旱 的6个年份的X1，X2的观测值和无春旱的8个年份的相应 观测值. 观测数据如表5.3所示. 假定两总体均服从正态分布且协方差矩阵?1 ≠?2 ， 误判损失相同又先验概率按比例分配，即 p1 = 6/14 = 0.4286， p2 = 8/14 =0.5714 进行两总体的Bayes判别. 补充：第5.3节 Fisher判别法 Fisher判别的想法是，先将各类样本向一维方向作投影，使投影后各类数据之间距离尽可能散开，而各类内数据尽可能靠近。然后将样本点按此投影规则也投影下去，再按距离最近原则确定样本属于哪一类。这个想法当然很好，具体怎样实现呢? SPSS操作：判别分析 Analyze-----Classify----Discriminant 将group 输入Grouping Variable框 将var1~var8输入Independents 框 DASC操作 * 补充：第5.4节 逐步判别法 前面介绍的判别方法都是用已给的全部变量来建立判别式的，但这些变量在判别式中所起的作用，一般来说是不同的，也就是说各变量在判别式中判别能力不同，有些可能起重要作用，有些可能作用低微，如果将判别能力低微的变量保留在判别式中，不仅会增加计算量，而且会产生干扰影响判别效果，如果将其中重要变量忽略了，这时作出的判别效果也一定不好。如何筛选出具有显著判别能力的变量来建立判别式呢？由于筛选变量的重要性，近三十年来有大量的文章提出很多种方法，这里仅介绍一种常用的逐步判别法。 1 基本思想 逐步判别法与逐步回归法的基本思想类似，都是采用“有进有出”的算法，即逐步引入变量，每引入一个“最重要”的变量进入判别式，同时也考虑较早引入判别式的某些变量，如果其判别能力随新引入变量而变为不显著了（例如其作用被后引入的某几个变量的组合所代替），应及时从判别式中把它剔除去，直到判别式中没有不重要的变量需要剔除，而剩下来的变量也没有重要的变量可引入判别式时，逐步筛选结束。这个筛选过程实质就是作假设检验，通过检验找出显著性变量，剔除不显著变量。 各判别法的比较 至今还难以评价哪一种判别方法最好，此处仅对Bayes判别法与Fisher判别法作比较。 （1）当k个总体的均值向量共线性程度较高时，Fisher判别法可用较少的判别函数进行判别，因而比Bayes判别法简单。另外，Fisher判别法未对总体的分布提出什么特定的要求。 （2）Fisher判别法的不足是它不考虑各总体出现概率的大小，也给不出预报的后验概率及错判率的估计以及错判之后造成的损失。而这些不足恰是Bayes判别法的优点，但值得指出的是，如果给定的先验概率不符合客观实际时，Bayes判别法也可能会导致错误的结论。 各判别法之间的关系 在上述判别法中，只要满足一些必要的条件，它们将是等价的。 （1）在正态等协差阵的条件下，Bayes线性判别函数（在不考虑先验概率的影响）等价于距离判别准则。因此Bayes线性判别法与距离判别法是等价的。 （2）Fisher判别法等价于距离判别法，因此在等协差阵条件下，Bayes线性判别法、Fisher线性判别法与距离判别法三者是等价的。（理论上