7a主成分分析..pptVIP

第七章 主成分分析与 因子分析 Principal Component Analysis Factory Analysis 本章介绍两种把变量维数降低以便于对问题的描述、理解和分析的方法：主成分分析（PCA）和因子分析（FA）。实际上主成分分析可以说是因子分析的一个特例。 主成分分析是处理降维的一种方法.如下例所示: §1 主成分分析 1 数学模型 2 主成分的计算方法 3 主成分解释 4 举例 在实际问题中,研究多变量问题是经常遇到的,然而在多数情况下,不同指标之间是有一定相关性.由于指标较多,再加上指标之间有一定的相关性,势必增加了分析问题的复杂性.主成分分析就是设法将原来指标重新组合成一组新的相互无关的几个综合指标来代替原来指标,同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息.这种将多个指标化为少数相互无关的综合指标的统计方法叫做主成分分析. 主成分分析的基本方法是通过构造原变量的适当的线性组合,以产生一系列互不相关的新信息,从中选出少数几个新变量并使它们含有尽可能多的原变量带有的信息,从而使得用这几个新变量代替原变量分析问题和解决问题成为可能.当研究的问题确定之后,变量中所含“信息”的大小通常用该变量的方差或样本方差来度量. 1 数学模型 易知有: 2主成分的计算方法 分别以S和R作为∑和ρ的估计,按前面所述的方法求得的主成分称为样本主成分.具体有如下结论: 这时 为了消除量纲的影响,我们可以对样本进行标准化,即令 3 主成分解释 4 举例 100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 SPSS数据形式 对于我们的数据，SPSS输出为 特征值的贡献还可以从SPSS的所谓碎石图看出 这里每一列代表一个主成分作为原来变量线性组合的系数（比例）。比如第一主成分为数学、物理、化学、语文、历史、英语这六个变量的线性组合，系数（比例）为-0.806, -0.674, -0.675, 0.893, 0.825, 0.836。 可以把第一和第二主成分的载荷点出一个二维图以直观地显示它们如何解释原来的变量的。这个图叫做载荷图。 第一个主成分主要和语文、历史、英语三科有很强的正相关，第一个因子起名为“文科能力” 第二个主成分主要和数学、物理、化学三科有很强的正相关，第二个因子起名为“理科能力” SPSS 实现 主成分是原始六个变量的线性组合. 这由下表给出. 第一和第二主成分 三个点是 数学、物理、化学 三个点是 语文、历史、外语 第一和第二主成分的解释 * * * 如何概括多指标？综合指标问题 问题：假定你是一个公司的财务经理，掌握了公司的所有数据，这包括众多的变量，如：固定资产、流动资金、借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、分工和教育程度等等。如果让你向上级或有关方面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 某人要做一件上衣要测量很多尺寸,如身长、袖长等十几项指标,但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多,而是从多种指标中综合成几个少数的综合指标,作为分类的型号,如下图: 如图, 设二维样本集呈现扁椭圆分布. x1 x2 u 将二维样本Xi向长轴方向投影,可得到一维样本yi 设u为长轴方向的单位向量,则有 Xi yi 一般如何求“最好”的方向 u 设X1,X2,…,Xp为某实际问题所涉及的p个随机变量.记X=(X1,X2,…,Xp)T,其协方差矩阵为 设li=(l1i, l2i ,…, lpi )T(i=1,2,…,p)为p个常数向量,考虑如下线性组合: 我们希望用Y1代替原来p个变量,这就要求Y1尽可能的反映原p个变量的信息,即Var(Y1)越大.为此,我们对li做如下限制,否则Var(Y1)无界,即: 因此,我们希望在约束条件l1Tl1=1之下,求l1使达到最大,由此l1所确定的随机变量Y1=l1TX称为X的第一主成分. 如果第一主成分Y1还不足以反映原变量的信息,考虑采用Y2.但要求Y1与Y2不相关,即 求l2 使Var(Y2)达到最大,由此l2所确定的随机变量Y2=l2TX称为X的第二主成分. 于是,在约束条件 及 之下 一般,由优化问题 的l解得的Y=lTX称为X的第k主成分. 利用微积分知识的知识,可得如下结论. 并且有: 定理1 设∑是X=(X1,X2,…,Xp)T的协方差矩阵, ∑的特征值及其相应的正交单位特征向量分别为 及e1,e2,…,ep,则X的第i个主成分为 由此可知,求X的各主成分,等价于求∑的各个特征值及其相应