多元统计分析第4章作业题选讲.pptxVIP

第4章 判别分析）4.1 判别分析和聚类分析有何区别？答：判别分析是根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。第4章 判别分析）4.2简述距离判别法的基本思想和方法。答：距离判别的基本思想是计算样品与各个总体之间的距离（通常是马氏距离），把样品判别为样品到总体距离最小的总体。距离判别问题分为①两个总体的距离判别问题和②多个总体的距离判别问题。。①两个总体的距离判别问题设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是?1和?2，对于一个新的样品X，要判断它来自哪个总体。计算新样品X到两个总体的马氏距离d2（X，G1）和d2（X，G2），则令 ，其中 ，则上述判别规则可简化为：②多个总体的距离判别问题设有k个组π1,π2,?,πk，它们的均值分别是μ1,μ2,?,μk，协方差矩阵分别是Σ1(0),Σ2(0),?,Σk(0)，x到总体πi的平方马氏距离为判别规则为 若Σ1=Σ2=?=Σk=Σ，则上述判别规则可作进一步简化。 d2(x,πi)=(x?μi)′Σ?1(x?μi)=x′Σ?1x?2μi′Σ?1x+μi′Σ?1μi =x′Σ?1x?2(Ii′x+ci) 其中 ，判别规则简化为Σ1,Σ2,?,Σk不全相等的情形? 在实际应用中i 、 Σi通常未知，我们将用其无偏估计样本均值和样本协方差阵Si来估计i和Σi (i=1,2,?,k）。 判别规则是： 其中，4.3 简述贝叶斯判别法的基本思想和方法。 进行贝叶斯判别，通常有两大准则，一是依据后验概率最大准则；二是依据平均误判损失最小准则；同时要求已知：（1）总体的概率密度函数；（2）各总体出现的先验概率；（3）各误判损失。 设k个总 的概率密度函数分别为，假设k个总体出现的概率分别为：。，，x属于总体Gi的后验概率为最大后验概率准则采用如下的判别规则：1. 最大后验概率准则将本来属于总体 的样品错判到总体 时造成的损失为 ， 。 2. 平均误判损失最小准则使ECM达到最小的判别规则：4.4 简述费希尔判别法的基本思想和方法。 费希尔判别的基本思想是投影（或降维）：用p 维向量 的少数几个线性组合（称为判别式或典型变量） （一般r明显小于p）来代替原始的p 个变量x1,x2, ?,xp ，以达到降维的目的，并根据这r 个判别式y1,y2, ?,yr对样品的归属作出判别。特别地，可对前两个或前三个判别式作图，从直观的几何图形上区别各总体。（1）判别式的求法第一步计算样本组间离差阵和组内离差阵第二步 求特征值和特征向量求矩阵E ?1B（或B ?1E ）的特征值和对应的单位特征向量。设全部非零特征值依次为λ1≥λ2≥?≥λs0，其中，非零特征值个数：s≤min(k ?1,p) 相应的特征向量依次记为t1,t2,?,ts（标准化为ti′Spti=1, i=1,2,?,s），称y1=t1′x为第一判别式，y2=t2′x为第二判别式。一般地，称yi=ti′x为第i判别式，i=1,2,?,s。由s≤min(k?1,p)知，组数k=2时只有一个判别式，k=3时最多只有两个判别式，判别式的个数不可能超过原始变量的个数p。第三步 写出判别式第一判别式：y1=t1′x；第二判别式：y2=t2′x；一般地，第i判别式：yi=ti′x，i=1,2,?,s。（2）判别规则 选取前r(≤s)个判别式y1,y2,?,yr，使累计贡献率：达到了一个较高的比例(如75%~95%)，则可采用这r个判别式做判别。判别规则为：其中， ，i=1,2,?,k 。该判别规则也可表达为： 4.5 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。 （略）4.6 设有两个二元总体G1和G2，从中分别抽取样本计算得到样本均值： 样本协方差阵：假设两总体协方差矩阵相等，试用距离判别法建立判别函数和判别规则。 并判别样品 应属于哪个总体？解：由已知可得，4.7 设有两正态总体G1和G2，且已知总体均值向量和总体协方差阵分别为：两总体的先验概率为： ，误判损失为：，试用贝叶斯判别法判别样品应属于