理论统计学课件-成分分析和因子分析.pptVIP

X的协方差阵S可以近似为(如Y忽略) 如Y不忽略, S可以近似为 应用中, S可以用样本相关阵R代替. 除主成分法外还有最大似然法来估计. 令T为任意m正交方阵(TT’=T’T=I), 则 X-m=AF+e= ATT’F+e=A*F * +e, 这里 A*= AT, F * = T’F. 因此 S=AA’+Y=ATT’A’+Y=(A*)(A*)’+Y 因此, 因子载荷A只由一个正交阵T决定. 载荷A*= AT与A都给出同一个表示. 由AA’= (A*)(A*)’对角元给出的共性方差, 也不因T的选择而改变. 为了我们简化的目的,通常选取特征值最大的几个特征向量作为代表. 利用计算机软件就自动地得到这些特征值和特征向量. 由于变量不同的尺度会影响结果, 因此, 在各变量尺度差别大时, 一般可以用样本相关阵而不是协方差阵来做(这通常在软件的选项之中). 步骤 按照矩阵记号, 求A使得y=Ax , 这里y为主成分向量, A为主成分变换矩阵, x为原始变换向量. 我们需要求出x的相关阵, 但是通常不知道, 但是有了观测值矩阵X之后, 可用样本相关阵R来近似x的相关阵. 步骤: 取R最大的几个特征根所相应的特征向量作为A的行即可. 的p×p矩阵. 而对于观测值X=(x1,…, xp), 其中xi =(x1i,…, xni), i=1,…,p, 的相关阵第(ij)-元素为 X=(X1,…, Xp)的相关阵为第(ij)-元素为 的p×p矩阵,其中sij为第i和第j观测的样本相关系数 取上面几个行向量组成所需的主成分变换矩阵. 主成分i为: yi=ai1x1+…+aipxp (yi贡献率为li/∑j lj ) 相关阵R的特征值 l1≥ l2≥… ≥ lp,而相应的特征向量为下面矩阵的列向量: 第一主成分:使Var(a1’X)最大的单位向量a1 (a1’a1=1);而l1=a1’Ra1 =Var(a1’X); 这里R为X的相关阵. 第二主成分:满足Cov(a1’X,a2’X)=0而且使Var(a2’X)最大的单位向量a2 (a2’a2=1);而l2=a2’Ra2=Var(a2’X) …………………………………………. 第k主成分:满足Cov(ai’X, ak’X)=0 (i=1,…,k-1), 而且使Var(ak’X)最大的单位向量ak(ak’ak=1);而lk=ak’Rak =Var(ak’X). 头m个主成分的累积贡献率: 这里R为X的样本相关阵,第i个特征值 li=ai’Rai=V(ai’x); ai为第i个特征向量. Cov(ai’x,aj’x)=0. 这里aij为第i个特征向量的第j个分量;第i个主成分的载荷平方和为该主成分的方差,等于其特征值li.所选的m个主成分对变量xj的总方差贡献为 主成分负荷(载荷,loading):Yi与Xj的相关系数: 洛衫矶对12个人口调查区的数据(data15-01) 编号 总人口 总雇员数 中等校 专业服务 中等房价 平均校龄 项目数 1 5700 12.8 2500 270 25000 2 1000 10.9 600 10 10000 3 3400 8.8 1000 10 9000 4 3800 13.6 1700 140 25000 5 4000 12.8 1600 140 25000 6 8200 8.3 2600 60 12000 7 1200 11.4 400 10 16000 8 9100 11.5 3300 60 14000 9 9900 12.5 3400 180 18000 10 9600 13.7 3600 390 25000 11 9600 9.6 3300 80 12000 12 9400 11.4 4000 100 13000 相关阵的特征值: (S-plus输出) 2.8733 1.7967 0.2148 0.0999 0.0153 特征向量矩阵(列向量) A (S-plus输出) 0.343 -0.6016 0.0595 -0.2040 0.689497 0.453 0.4064 0.6888 0.3536 0.174861 0.397 -0.5417 0.2480 -0.0229 -0.698014 0.550 0.0778 -0.6641 0.5004 -0.000124 0.467 0.4164 -0.1396 -0.7632 -0.082425 The SAS System 11:15 Sunday, September 22, 2002 Eigenvalues of the Correlation Matrix