第5章——主成分分析与因子分析法.pptVIP

如果将坐标轴 X1 和 X2 旋转45o ，那么点在新坐标系中的坐标（Y1,Y2）与原坐标（X1,X2）有如下的关系： Y1和Y2均是X1 和 X2 的线性组合 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 在新坐标系中，可以发现：虽然散点图的形状没有改变，但新的随机变量 Y1 和 Y2 已经不再相关。而且大部分点沿 Y1 轴散开，在 Y1 轴方向的变异较大（即 Y1的方差较大） ，相对来说，在 Y2轴方向的变异较小（即 Y2 的方差较小） 。 在上面的例子中 Y1 和 Y2 就是原变量 X1和 X2的第一主成分和第二主成分。实际上第一主成分 Y1 就基本上反映了 X1 和X2 的主要信息，因为图中的各点在新坐标系中的 Y1 坐标基本上就代表了这些点的分布情况，因此可以选 Y1 为一个新的综合变量。当然如果再选 Y2也作为综合变量，那么 Y1 和 Y2 则反映了 X1 和 X2的全部信息。 * (二) 主成分分析的基本思想 假如对某一问题的研究涉及 p 个指标，记为X1，X2, …, Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, …, Xp)?，设 X 的均值向量为?，协方差矩阵为?。设Y=(Y1, Y2 , … , Yp)?为对 X 进行线性变换得到的合成随机向量，即 (1) 设?i=(?i1, ?i2 , …, ?ip)?, A=(?1 , ?2 ,…, ?p)?，则有 (2) * 且 （3） 由是式(1)(2)能够看出，可以对原始变量进行任意的线性变换，不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi 应尽可能多地反映 p 个原始变量的信息，通常用方差来度量“信息”，Yi 的方差越大表示它所包含的信息越多。由式（3）可以看出将系数向量?i 扩大任意倍数会使Yi 的方差无限增大，为了消除这种不确定性，增加约束条件： * 为了有效地反映原始变量的信息，Y的不同分量包含的信息不应重叠。综上所述，式（1）的线性变换需要满足下面的约束： (1) 即 ，i =1, 2, …, p。 (2) Y1在满足约束 (1) 即的情况下，方差最大；Y2是在满足约束(1) ，且与Y1不相关的条件下，其方差达到大；……；Yp是在满足约束(1) ，且与Y1，Y2，…，Y p-1不相关的条件下，在各种线性组合中方差达到最大者。 满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为原始变量的第一主成分、第二主成分、…、第 p 主成分，而且各成分方差在总方差中占的比重依次递减。在实际研究工作中，仅挑选前几个方差较大的主成分，以达到简化系统结构的目的。 三、主成分分析的计算步骤 (一)计算相关系数矩阵 (二)计算特征值与特征向量 (三)计算主成分贡献率及累计贡献率 (四)计算主成分载荷 （一）计算相关系数矩阵 rij（i，j=1，2，…，p）为原变量xi与xj标准化后的相关系数， rij=rji，其计算公式为 （3.5.3） （3.5.4） （二）计算特征值与特征向量 1、解特征方程　　　　，求出特征值，并使其按大小顺序排列 2、分别求出对应于特征值　 的特征向量 　 ，要求 　　=1，即　　　　　，其中　表示向量 的第j个分量,也就是说 为单位向量。 * （三）计算主成分贡献率及累计贡献率 主成分分析是把 p 个随机变量的总方差分解为 p 个不相关随机变量的方差之和?1 ＋ ?2 ＋…＋ ?P，则总方差中属于第 i 个主成分（被第 i 个主成分所解释）的比例为 称为第 i 个主成分的贡献率。定义 称为前 m 个主成分的累积贡献率，衡量了前 m 个主成份对原始变量的解释程度。 （四）计算主成分载荷 　　　 在主成分之间不相关时，主成分载荷就是主成分zi与变量xj之间的相关系数 因子分析法（Factor Analysis，FA） 因子分析法概述 因子分析法的模型 附：主成分分析与因子分析的区别 （一）因子分析法概述 因子分