第6章 多元统计分析初步.pptVIP

第六章多元统计分析初步一、多元正态分布的参数估计与检验二、判别分析三、主成分分析四、因子分析五、典型相关分析一、多元正态分布的参数估计与检验1、多元正态分布2、参数的估计3、均值的检验二、判别分析1、距离判别2、Bayes判别3、Fisher判别三、主成分分析四、因子分析五、典型相关分析由于不妨假设因此所讨论的问题就转化为在约束和下求与，使得目标函数达到最大。定理20.1在满足约束条件和下，使得相关系数达到最大的与是齐次线性方程组的非零解，其中是矩阵(或矩阵)的最大特征根。设已求出矩阵的特征根为由定理20.1可知，第一对典型相关变量为其中与满足且此时，与的相关系数为重复以上过程可得第对典型相关变量与满足且同样地有即各对典型变量间是不相关的。总结以上，可得求典型变量的过程如下：1.求矩阵的特征值，记为对应的单位特征向量为3.第对典型相关变量为2.令（二）典型相关系数和典型相关变量的估计在实际问题中，总体的均值和协方差阵往往未知，应由与的样本这时总体均值和协方差阵的估计分别为若的秩为，非零特征根记为对应的单位特征向量为取自然应为的第二大特征根所对应的单位特征向量，并称为第二主成分。类似地，第二个综合指标可以取为重复以上过程，可得的第个综合指标称为的第个主成分。总之，我们可得到个主成分且其中是协方差阵的非零特征根并有而是对应的单位特征向量。若用矩阵可表示如下其中且即矩阵是行正交矩阵。因此，所谓的主成分分析也可以看作是对原来的个指标进行了一次正交变换而得到个互不相关的综合指标，即主成分这样关于寻找总体的综合指标——主成分的问题就转化为求的协方差矩阵的特征值和标准正交特征向量的问题，归纳为如下几个步骤：1.求的协方差阵的特征值，记为2.求对应的单位特征向量且要求正交。3.获得第个主成分注：若，则可得到的个主成分；当有重特征值时，主成分不唯一。实际应用时到底应取多少个主成分作为分析问题的综合指标的问题留在后面讨论。在实际应用时，经常会遇到个指标的量纲不尽相同或取值彼此差异很大的问题，处理的一般方法是先将各指标进行标准化，即其中的协方差阵为但应注意这时即为相关矩阵其中因此求的主成分就是求的特征值和相应的单位特征向量，然后可得的分量的线性组合，即为所求的主成分。协方差阵和相关矩阵往往是未知的。这时在实际问题中，所研究的总体的均值需对总体进行抽样，设样本为取和的估计分别为——样本均值（二）样本主成分——样本相关矩阵设的特征值为对应的单位特征向量为则称为的第个样本主成分。——样本协方差阵同样地，若记的特征值为对应的单位特征向量为则称为标准化变量的第个样本主成分，其中对于样本可以得到相应的主成分的样本为了区别起见，将这小节的主成分统称为样本主成分；而上一小节的主成分统称为总体主成分。（二）贡献率和主成分的解释构造综合指标的目的是想用尽可能少的主成分来代替原有的个指标，且能对原始资料所具有的意义做出合理的解释。那么到底应该选择多少主成分才合理呢？下面就来讨论总体主成分个数的选取问题，对样本主成分也有类似的分析。设维总体的协方差阵为的第个主成分为由于这些主成分时互不相关的，因此有这说明的“总方差”(即个分量的方差之和)等于个互不相关的随机变量的方差之和，其中具有最大的方差，次之且有方差具有最小方差这样主成分依次集中了各分量的变化的主要部分，第一主成分的方差最大，即是