多元统计第4章作业题选讲解读.pptx

第4章 判别分析） 4.1 判别分析和聚类分析有何区别？ 答：判别分析是根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。 第4章 判别分析） 4.2 简述距离判别法的基本思想和方法。 答：距离判别的基本思想是计算样品与各个总体之间的距离（通常是马氏距离），把样品判别为样品到总体距离最小的总体。距离判别问题分为①两个总体的距离判别问题和②多个总体的距离判别问题。。 ①两个总体的距离判别问题 设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是?1和?2，对于一个新的样品X，要判断它来自哪个总体。计算新样品X到两个总体的马氏距离d2（X，G1）和d2（X，G2），则 ②多个总体的距离判别问题 Σ1,Σ2,?,Σk不全相等的情形 4.3 简述贝叶斯判别法的基本思想和方法。 进行贝叶斯判别，通常有两大准则，一是依据后验概率最大准则；二是依据平均误判损失最小准则；同时要求已知： （1）总体的概率密度函数； （2）各总体出现的先验概率； （3）各误判损失。 1. 最大后验概率准则 2. 平均误判损失最小准则 使ECM达到最小的判别规则： 4.4 简述费希尔判别法的基本思想和方法。 费希尔判别的基本思想是投影（或降维）：用p 维向量 的少数几个线性组合（称为判别式或典型变量） （一般r明显小于p）来代替原始的p 个变量x1,x2, ?,xp ，以达到降维的目的，并根据这r 个判别式y1,y2, ?,yr对样品的归属作出判别。特别地，可对前两个或前三个判别式作图，从直观的几何图形上区别各总体。 （1）判别式的求法 第一步 计算样本组间离差阵和组内离差阵 第二步 求特征值和特征向量 求矩阵E ?1B（或B ?1E ）的特征值和对应的单位特征向量。 设全部非零特征值依次为λ1≥λ2≥?≥λs0，其中，非零特征值个数：s≤min(k ?1,p) 相应的特征向量依次记为t1,t2,?,ts（标准化为ti′Spti=1, i=1,2,?,s），称y1=t1′x为第一判别式，y2=t2′x为第二判别式。一般地，称yi=ti′x为第i判别式，i=1,2,?,s。 由s≤min(k?1,p)知，组数k=2时只有一个判别式，k=3时最多只有两个判别式，判别式的个数不可能超过原始变量的个数p。 第三步 写出判别式 第一判别式：y1=t1′x； 第二判别式：y2=t2′x； 一般地，第i判别式：yi=ti′x，i=1,2,?,s。 （2）判别规则 选取前r(≤s)个判别式y1,y2,?,yr，使累计贡献率： 达到了一个较高的比例(如75%~95%)，则可采用这r个判别式做 判别。 判别规则为： 其中， ，i=1,2,?,k 。 该判别规则也可表达为： 4.5 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。 （略） 解：由已知可得， 解：由已知可得， 正态总体G1和G2的概率密度函数分别为： 根据最小平均误判代价准则：