主成分分析因子分析聚类分析.docxVIP

主成分分析 设题目中m个有一定相关关系的变量表示原始指标，记为x1，x2,..,xm，样本数为n，则观测样本数矩阵为： 为了用原始指标的线性组合表示主成分，将原始数据进行标准化处理： i＝1，2，…，n；k＝1，2，…，m 式中： ；。 计算相关系数矩阵。 式中： ， j＝1，2，…，m 用雅可比方法[雅克比方法用于求实对称阵的全部特征值、特征向量。 对于实对称阵 A，必有正交阵U，使UTAU=D。其中D是对角阵，其主对角线元 li 是 A 的特征值. 正交阵 U 的第 j 列是 A 的属于 li 的特征向量。 原理：Jacobi 方法用平面旋转对矩阵 A 做相似变换，化A 为对角阵，进而求出特征值与特征向量 雅可比迭代法求解矩阵特征值和特征向量的具体步骤如下： (1) 初始化特征向量为对角阵V，即主对角线的元素都是1.其他元素为0。 (2) 在A的非主对角线元素中，找到绝对值最大元素 apq 。 (3) 用式(3.14)计算tan2j，求 cosj, sinj 及矩阵Upq . (4) 用公式(1)-(4)求A1；用当前特征向量矩阵V乘以矩阵Upq得到当前的特征向量V。 (5) 若当前迭代前的矩阵A的非主对角线元素中最大值小于给定的阈值e时，停止计算；否则, 令A = A1 , 重复执行(2) ~ (5)。 停止计算时，得到特征值 li≈(A1) ij ，i,j= 1,2,…,n.以及特征向量V。 (6)根据特征值的大小从大到小的顺序重新排列矩阵的特征值和特征向量。] 解相关系数矩阵的特征方程，得到矩阵R的m个非负特征值，并求得对应于特征值的特征向量，并按从大到小的顺序排列： ， i＝1，2，…，m。 由特征向量组成m个新指标： 由线性代数的知识我们可知主成分的如下特征： 各特征向量之间互不相关，那么主成分也是互不相关的。 全部m个成分所反映的n例样本的总信息等于m个原变量的总信息。 第j个主成分的贡献率是 。 前面P个成分的累计贡献率是 。 各特征值及主成分贡献率如下表所示： 主成分特征值贡献率(%)累积贡献率(%)Z1Z2Z3Z4Z5Z6... 选取累计贡献率已经达到85％以上的特征值λ1= ,λ2= ,λ3= ,….作为主成分。计算各变量x1，x2，……，x9在各主成分上的载荷得到主成分载荷矩阵如下表所示： Z1Z2Z3主成分对Xj的 总方差贡献率主成分载荷即Zi与Xj的相关系数: 其中所选的m个主成分对Xj的总方差贡献率为： (%)X1X2X3X4X5X6X7... 因子分析 计算原始数据的相关矩阵，若相关矩阵的大部分系数都小于0.3，则不适合进行因子分析。我们只选择有较强相关性的变量作为因子分析的原始变量。 将p个可观测变量xi(i=1,2,..,p)标准化得到新变量Xi(i=1,2,..,p)以消除变量间在 HYPERLINK /view/181910.htm \t _blank 数量级和量纲上的不同。 将标准化后的变量表示成m+p个不可观测的随机量 Fj j = 1,2,…, m，εi(i=1,2…,p)的线性组合，即： Xi= μi+ai1F1 + ai2F2 +…+ aimFm +εi 作出如下假设： (1) EX=μ=(μ1,μ2,…,μP) , Dx=Σ （方便处理）。 (2) 各公共因子都是均值为0，方差为1的不相关的正态随机变量，其协方差矩阵为单位阵Im，即 F ~ N(0, Im) 。 (3) E(ε)=0，且即各个特殊因子不相关，各个特殊因子与所有公共因子不相关。 用矩阵表示因子模型可得： 那么，对标准化之后的数据Xi，有EXi=0 , DXi=1，那么有Xi和Fi的相关系数ρij=aij。 m 个公共因子对第i个变量方差的贡献称为第i 共同度，记为 h2=ai12+ai22+…+aim2 两边求方差得：从而第i个变量的方差有如下分解 DXi=j=1maij2DFj=hi2+σi2 (i=1,2,…,p) 公共因子Fj对所有变量Xi(i=1,2,..,p)所提供的总影响称为Fj的方差贡献，记为： (i = 1,2,…, p )， (1) 其中 Fj( j = 1,2,…, m) 对 X 的每个分量都起作用，称为公共因子，它们的含义要根据具体问题来解释， εi (i = 1,2,.., p) 仅与变量zi有关，称为特殊因子，系数 aij (i=1, 2,.., p , j=1,2,…, m)称为因子载