主成分分析和因子分析.ppt

第十三章 主成分分析和因子分析 ; 主成分分析（principal components analysis，简称PCA）是由霍特林（Hotelling）于1933年首先提出的。它通过投影的方法，实现数据的降维，在损失较少数据信息的基础上把多个指标转化为几个有代表意义的综合指标。;13.1.1 主成分分析的基本思想 假如对某一问题的研究涉及 p 个指标，记为X1，X2, …, Xp，由这 p 个随机变量构成的随机向量为X=(X1, X2, …, Xp)?，设 X 的均值向量为?，协方差矩阵为?。设Y=(Y1, Y2 , … , Yp)?为对 X 进行线性变换得到的合成随机向量，即 （13.1.1） 设?i=(?i1, ?i2 , …, ?ip)?，( ), A=(?1 , ?2 ,…, ?p)?，则有 （13.1.2）;且 （13.1.3） 由式（13.1.1）和式（13.1.2）可以看出，可以对原始变量进行任意的线性变换，不同线性变换得到的合成变量Y的统计特征显然是不一样的。每个Yi 应尽可能多地反映 p 个原始变量的信息，通常用方差来度量“信息”，Yi 的方差越大表示它所包含的信息越多。由式（13.1.3）可以看出将系数向量?i 扩大任意倍数会使Yi 的方差无限增大，为了消除这种不确定性，增加约束条件：; 为了有效地反映原始变量的信息，Y的不同分量包含的信息不应重叠。综上所述，式（13.1.1）的线性变换需要满足下面的约束： (1) ，即 ，i =1, 2, …, p。 (2) Y1在满足约束 (1) 即的情况下，方差最大；Y2是在满足约束(1) ，且与Y1不相关的条件下，其方差达到最大；……；Yp是在满足约束(1) ，且与Y1，Y2，…，Y p-1不相关的条件下，在各种线性组合中方差达到最大者。 满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为原始变量的第一主成分、第二主成分、…、第 p 主成分，而且各成分方差在总方差中占的比重依次递减。在实际研究工作中，仅挑选前几个方差较大的主成分，以达到简化系统结构的目的。;13.1.2 总体主成分求解及其性质 13.1.1节中提到主成分分析的基本思想是考虑合成变量的方差大小及其对原始变量波动(方差)的贡献大小，而对于原始随机变量X1??X2，…，Xp，其协方差矩阵或相关矩阵正是对各变量离散程度和相关程度的度量。在实际求解主成分时，一般从原始变量的协方差矩阵或相关矩阵的结构分析出发。; 1．从协方差矩阵出发求解主成分 设?1是任意 p?1向量，求解主成份就是在约束条件 下，求 X 的线性函数 使其方差 达到最大，即达到最大，且 ，其中? 是随机变量向量X =(X1, X2, …, Xp)?的协方差矩阵。设?1 ≥ ?2 ≥ … ≥ ?p ≥ 0 为? 的特征值，e1 , e2 ,…, ep为? 矩阵各特征值对应的标准正交特征向量，则对于任意的ei 和 ej，有 （13.1.4） 且 （13.1.5）;因此 （13.1.6） 当?1 = e1 时有 （13.1.7） 此时 达到最大值为?1。同理有 并且 （13.1.8）; 由上述推导得 （13.1.9） 可见Y1, Y2, …, Yp 即为原始变量的 p 个主成份。因此，主成分的求解转变为求 X1, X2, …, Xp 协方差矩阵? 的特征值和特征向量的问题。 ;２．主成份的性质 性质1 Y的协方差矩阵为对角阵?，即 （13.1.10） 性质2 设?=(?ij)p×p是随机变量向量 X