spss-10主成分和因子分析.ppt

统计学;第十章主成分分析和因子分析 ;汇报什么？;需要高度概括;本章介绍两种把变量维数降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。 实际上主成分分析可以说是因子分析的一个特例。在引进主成分分析之前，先看下面的例子。;SPSS数据形式;从本例可能提出的问题;空间的点;空间的点;;椭圆的长短轴;椭圆的长短轴;;主轴和主成分;主轴和主成分;主成分之选取;主成分分析的数学;对于我们的数据，SPSS输出为;特征值的贡献还可以从SPSS的所谓碎石图看出;怎么解释这两个主成分。主成分是原始六个变量的线性组合。这由下表给出。 ;如用x1,x2,x3,x4,x5,x6分别表示原先的六个变量，而用y1,y2,y3,y4,y5,y6表示新的主成分，那么，第一和第二主成分为;比如y1表示式中x1的系数为-0.806，这就是说第一主成分和数学变量的相关系数为-0.806。 相关系数(绝对值）越大，主成分对该变量的代表性也越大。可以看得出，第一主成分对各个变量解释得都很充分。而最后的几个主成分和原先的变量就不那么相关了。 ;可以把第一和第二主成分的载荷点出一个二维图以直观地显示它们如何解释原来的变量的。这个图叫做载荷图。;该图左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外语三科。图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。;10.2 因子分析;10.2 因子分析;主成分分析与因子分析的公式上的区别;因子分析的数学;对于我们的数据，SPSS因子分析输出为;这个表说明六个变量和因子的关系。为简单记，我们用x1, x2, x3, x4, x5, x6来表示math（数学）， phys（物理），chem（化学），literat（语文），history（历史），english（英语）等变量。这样因子f1和f2与这些原变量之间的关系是（注意，和主成分分析不同，这里把成分（因子）写在方程的右边，把原变量写在左边；但相应的系数还是主成分和各个变量的线性相关系数，也称为因子载荷）： ;;这里，第一个因子主要和语文、历史、英语三科有很强的正相关；而第二个因子主要和数学??物理、化学三科有很强的正相关。 因此可以给第一个因子起名为“文科因子”，而给第二个因子起名为“理科因子”。 从这个例子可以看出，因子分析的结果比主成分分析解释性更强。 ;这些系数所形成的散点图（在SPSS中也称载荷图）为;计算因子得分;该输出说明第一和第二主因子为（习惯上用字母f来表示因子）可以按照如下公式计算，该函数称为因子得分（factor score）。 ;10.3因子分析和主成分分析的一些注意事项 ;10.3因子分析和主成分分析的一些注意事项 ;SPSS实现(因子分析与主成分分析);附录 ;的p×p矩阵. 而对于观测值X=(x1,…, xp), 其中xi =(x1i,…, xni), i=1,…,p, 的样本相关阵第(ij)-元素为;关于特征值和特征向量 特征方程|R-lI|=0的解为特征值l, 这里B为一个p维正定方阵. l通常有p个根l1≥ l2≥… ≥ lp. 满足(R-liI)xi=0的向量xi为li的特征向量. 对任意向量a有性质;头m个主成分的累积贡献率:;这里aij为第i个特征向量的第j个分量;第i个主成分的载荷平方和为该主成分的方差,等于其特征值li.所选的m个主成分对变量xj的总方差贡献为;;正交因子模型：X-m=AF+e;F为公共因子向量, 每个公共因子(如Fi)是对模型中每个变量都起作用的因子; 而e为特殊因子向量, 每个特殊因子(如ei)只对一个变量(第i个)起作用.;因子分析的方法在于估计S=AA’+Y和Y, 再分解以得到A.;X的协方差阵S可以近似为(如Y忽略);正交模型X=m+AF+e的协方差结构根据前面模型，可得出下面结果：;的统计意义就是第i个变量与第j个公共因子的相关系数, 表示Xi依赖Fj的份量,这里eij是相应于特征值li的特征向量ei的第j个分量. 因子载荷阵中各列元素的平方和Sj= Siaij2称为公共因子Fj对X诸变量的方差贡献之总和;除主成分法外还有最大似然法来估计A, m和Y(在多元正态分布的假定下).当然,还有其他方法(有些互相类似).;令T为任意m正交方阵(TT’=T’T=I), 则 X-m=AF+e= ATT’F+e=A*F * +e, 这里 A*= AT, F * = T’F. 因此 S=AA’+Y=ATT’A’+Y=(A*)(A*)’+Y 因此, 因子载荷A只由一个正交阵T决定. 载荷A*= AT与A都给出同一个表示. 由AA’=