主成分和因子分析 Principal Components and Factor Analysis.pptx

主成分和因子分析Principal Components and Factor AnalysisMultivariate Statistics多元统计学 第4讲主成分分析Principal Components Analysis南京医科大学公共卫生学院 赵杨zhaoyang@主要内容主成分分析的目的主成分分析的求解主成分分析的性质主成分分析的应用主成分分析的注意点主成分分析的几何解释软件实现：Stata和SAS 主要内容主成分分析的目的主成分分析的求解主成分分析的性质主成分分析的应用主成分分析的注意点主成分分析的几何解释软件实现：Stata和SAS 某小学10名男学生六个项目的智力测量计分表 受试者常识算术理解填图积木译码合计编 号X1X2X3X4X5X61141328142239130210141514343512231112191324391184 7　 7 7 92023 735131224122638125619142216233713172016262138691908 91014 931461199 9 81513144610510 9 912102346109 核心问题：6门功课代表了几个方面的素质？如何综合评价10名学生的成绩？资料的特点多个随机变量给综合分析带来了麻烦；自变量间存在着不可忽视的相关性，因此直接相加求和导致了信息的重叠。A Thought of Instinct如何解决？寻找一个或多个综合指标，使它既能尽可能多地反映原始变量的信息，彼此间又没有相关性。如何衡量信息？指标的方差或变异程度指标变异越大，信息越丰富，越能体现个体间的差别主成分分析的目的随机变量间的相关性（信息重叠，冗余）；太多的自变量：降维(dimension reduction)变量间的关系复杂：综合分析主要内容主成分分析的目的主成分分析的求解主成分分析的性质主成分分析的应用主成分分析的注意点主成分分析的几何解释软件实现：Stata和SAS 主成分的求解（1） 原始变量标准化，令i、j分别代表变量和个体，i=1,2,3…,m，j=1,2,3,…,n。主成分的求解（2）求解第1主成分C1要求C1尽可能多地反映了原来m个变量的信息，即Var(C1)最大，且主成分的求解（3）求解第2主成分C2要求C2尽可能多地反映了原来m矩阵的信息，除了Var(C1)外，Var(C2)最大，且要求Cov(C1,C2)=0 主成分的求解（4）求解第3,4,……,m主成分Ci要求Ci尽可能多地反映了原来m个矩阵的信息，除了Var(C1), Var(C2),…, Var(Ci-1)外，Var(Ci)最大，且要求Cov(Ci,Ck)=0 (ki) 主成分的定义主成分（Principal Components）是原变量的线性组合（Linear Combination）或综合变量，它们彼此间相互独立，且包含了原变量的所有信息。智力测量计分主成分的计算（1） 求原始变量的相关系数矩阵主成分的计算（2） 计算相关系数矩阵的特征根和特征向量；满秩的6阶方阵有6个特征根；?1≥?2≥…≥?6≥0，?1+?2+…+?6=6，Var(Ci)= ?1主成分的计算（3）特征根?i差值贡献?i /6累计贡献14.146963.284860.69120.691220.862110.260020.14370.834830.602080.345220.10030.935240.256860.150110.04280.978050.106750.081520.01780.995860.02523.0.00421.0000 特征根陡坡图 (scree plot)特征根大小第i个特征根主成分的计算（4）变量特征向量123456x10.45043-0.28870-0.00012-0.265690.801930.00928x20.458400.00460-0.42351-0.01170-0.25120-0.73976x30.40818-0.44812-0.043680.71015-0.159000.31791x40.45266-0.118660.14988-0.60562-0.501920.37397x50.315010.74704-0.403640.121460.127730.38564x60.340940.379050.795830.208380.01702-0.25106 特征向量主成分的计算（5） 6个主成分，方差分别等于?1,?2,?3,?4,?5,?6主成分的计算（6）IDC1C2C3C4C5C610.90010-1.26486-0.233420.65256-0.207860.0482920.279691.00533-1.25092-0.34658-0.50320-0.0