主成分分析法的原理应用及计算步骤.docxVIP

一、概述 在处理信息时， 当两个变量之间有一定相关关系时， 可以解释为这两个变量 反映此课题的信息有一定的重叠， 例如，高校科研状况评价中的立项课题数与项 目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基 础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量 之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这 必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种 更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会 造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已 得到广泛应用的分析方法。 主成分分析以最少的信息丢失为前提， 将众多的原有变量综合成较少几个综 合指标，通常综合指标（主成分） 有以下几个特点： 主成分个数远远少于原有变量的个数 原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建 模，这将大大减少分析过程中的计算工作量。 主成分能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍， 而是原有变量重组后的结果 ，因此不会造 成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。 主成分之间应该互不相关 通过主成分分析得出的新的综合指标 （主成分） 之间互不相关 ，因子参与数 据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问 题。 主成分具有命名解释性 总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成 少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法 。 二、基本原理 主成分分析是数学上对数据降维的一种方法。 其基本思想是设法将原来众多 的具有一定相关性的指标 X1，X2，, ， XP（比如 p 个指标），重新组合成一组较 少个数的互不相关的综合指标 Fm来代替原来指标。那么综合指标应该如何去提 取，使其既能最大程度的反映原变量 Xp所代表的信息，又能保证新指标之间保 持相互无关（信息不重叠） 。 设 F1 表 示 原变 量的 第 一个 线性 组 合所 形成 的 主成 分指 标 ，即 F a X a X a X , 由数学知识可知， 每一个主成分所提取的信息量可 1 11 1 21 2 ... p1 p 用其方差来度量， 其方差 Var(F1) 越大，表示 F1 包含的信息越多 。常常希望第 一主成分 F1 所含的信息量最大， 因此在所有的线性组合中选取的 F1应该是 X1， X2，, ， XP的所有线性组合中方差最大的，故称 F1为第一主成分。如果第一主 成分不足以代表原来 p 个指标的信息，再考虑选取第二个主成分指标 F2，为有 效地反映原信息， F1已有的信息就不需要再出现在 F2中，即 F2 与 F1要保持独 立、不相关，用数学语言表达就是其协方差 Cov(F1, F2)=0，所以 F2 是与 F1不 相关的 X1，X2，, ， XP的所有线性组合中方差最大的，故称F2 为第二主成分， 依此类推构造出的 F1、F2、,, 、 Fm为原变量指标 X1、X2,, XP第一、第二、,, 、 第 m个主成分。 F a X a X ... a X 1 1 1 1 1 2 2 1 p p F a X a X ... a X 2 2 1 1 2 2 2 2 p p ...... F a X a X ... a X m m 1 1 m 2 2 m p p 根据以上分析得知： (1) Fi 与 Fj 互不相关，即 Cov(Fi ，Fj) = 0, 并有 Var(Fi)=ai ’Σai ，其 中Σ为 X的协方差阵 (2)F1 是 X1，X2，, ， Xp 的一切线性组合（系数满足上述要求）中方差最 大的 , ,, , 即 Fm是与 F1，F2，,, ， Fm－1 都不相关的 X1，X2，, ， XP的所有 线性组合中方差最大者。 F1，F2，, ，F（m m≤ p）为构造的新变量指标， 即原变量指标的第一、 第二、,, 、 第 m个主成分。 由以上分析可见，主成分分析法的主要任务有两点： （1）确定各主成分 Fi （i=1 ，2，, ， m）关于原变量 Xj（j=1 ，2 ，, ， p ） 的表达式，即系数 a （ i=1 ，2，, ， m； j=1 ，2 ，, ， p）。从数学上可以证 ij 明，原变量 协方差 矩阵的特征根是主成分的方差，所以前 m 个较大特征根就代 表前 m个较大的主成分方差值；原变量 协方差 矩阵前 m 个较大的特征值 i （这 样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分 Fi 表达式的系数 a ，为了加以限制，系数 i a 启用的是 i i