《ch8主成分和因子分析》.ppt

这些系数所形成的散点图（在SPSS中也称载荷图）为 可以直观看出每个因子代表了一类学科 计算因子得分 可以根据输出 算出每个学生的第一个因子和第二个因子的大小，即算出每个学生的因子得分f1和f2。 该输出说明第一和第二主因子为（习惯上用字母f来表示因子）可以按照如下公式计算，该函数称为因子得分（factor score）。 人们可以根据这两套因子得分对学生分别按照文科和理科排序。当然得到因子得分只是SPSS软件的一个选项。 因子分析和主成分分析的一些注意事项 ?可以看出，因子分析和主成分分析都依赖于原始变量，也只能反映原始变量的信息。所以原始变量的选择很重要。 另外，如果原始变量都本质上独立，那么降维就可能失败，这是因为很难把很多独立变量用少数综合的变量概括。数据越相关，降维效果就越好。 在得到分析的结果时，并不一定会都得到如我们例子那样清楚的结果。这与问题的性质，选取的原始变量以及数据的质量等都有关系 在用因子得分进行排序时要特别小心，特别是对于敏感问题。由于原始变量不同，因子的选取不同，排序可以很不一样。 附录 的p×p矩阵. 而对于观测值X=(x1,…, xp), 其中xi =(x1i,…, xni), i=1,…,p, 的样本相关阵第(ij)-元素为 X=(X1,…, Xp)的相关阵为第(ij)-元素为 的p×p矩阵,其中sij为第i和第j观测的样本相关系数 关于特征值和特征向量 特征方程|R-lI|=0的解为特征值l, 这里B为一个p维正定方阵. l通常有p个根l1≥ l2≥… ≥ lp. 满足(R-liI)xi=0的向量xi为li的特征向量. 对任意向量a有性质 头m个主成分的累积贡献率: 这里R为X的样本相关阵,第i个特征值 li=ai’Rai=V(ai’x); ai为第i个特征向量. Cov(ai’x,aj’x)=0. 这里aij为第i个特征向量的第j个分量;第i个主成分的载荷平方和为该主成分的方差,等于其特征值li.所选的m个主成分对变量xj的总方差贡献为 主成分负荷(载荷,loading):Yi与Xj的相关系数: 正交因子模型：X-m=AF+e mi=变量i的均值 ei=第i个特殊因子 Fi=第i个公共因子 aij=第i个变量在第j个因子上的载荷 不能观测的值满足下列条件： F和e独立 E(F)=0, Cov(F)=I E(e)=0, Cov(e)=Y, Y是对角矩阵 F为公共因子向量, 每个公共因子(如Fi)是对模型中每个变量都起作用的因子; 而e为特殊因子向量, 每个特殊因子(如ei)只对一个变量(第i个)起作用. 因子分析的方法在于估计S=AA’+Y和Y, 再分解以得到A. X的协方差阵S可以分解成 这里l1≥ l2≥… ≥ lp为S的特征值;而e1,…,ep为相应的特征向量(e1,…,ep为主成分的系数, 因此称为主成分法). 上面分解总是取和数的重要的头几项来近似. X的协方差阵S可以近似为(如Y忽略) 如Y不忽略, S可以近似为 应用中, S可以用样本相关阵R代替. 正交模型X=m+AF+e的协方差结构根据前面模型，可得出下面结果： 上面sii2= Sjaij2 + yi2中, Sjaij2称为共性方差(公共方差或变量共同度common variance, communalities)，而yi2称为特殊方差.变量共同度刻画全部公共因子对变量Xi的总方差所做的贡献. 的统计意义就是第i个变量与第j个公共因子的相关系数, 表示Xi依赖Fj的份量,这里eij是相应于特征值li的特征向量ei的第j个分量. 因子载荷阵中各列元素的平方和Sj= Siaij2称为公共因子Fj对X诸变量的方差贡献之总和 因子载荷 除主成分法外还有最大似然法来估计A, m和Y(在多元正态分布的假定下).当然,还有其他方法(有些互相类似). 令T为任意m正交方阵(TT’=T’T=I), 则 X-m=AF+e= ATT’F+e=A*F * +e, 这里 A*= AT, F * = T’F. 因此 S=AA’+Y=ATT’A’+Y=(A*)(A*)’+Y 因此, 因子载荷A只由一个正交阵T决定. 载荷A*= AT与A都给出同一个表示. 由AA’= (A*)(A*)’对角元给出的共性方差, 也不因T的选择而改变. 正交变换T相当于刚体旋转(或反射), 因子载荷A的正交变换AT称为因子旋转估计的协方差阵或相关阵, 残差阵, 特殊方差及共性方差都不随旋转而变.这里“残差阵”为协方差阵或相关阵与估计的AA’+Y之差. 因子旋转的一个准则为最大方差准则. 它使旋转后的因子载荷的总方差达到最大. 如 即要选变换T使下式最大(计算机循环算法) 需要由X=AF变成F=bX. 或Fj=bj1X1+…+ bjpXp