主成分分析法的原理应用及计算步骤.docx

一 、 概 述 在处理信息时， 当两个变量之间有一定相关关系时， 可以解释为这两个变量 反映此课题的信息有一定的重叠， 例如， 高校科研状况评价中的立项课题数与项 目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基 础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量 之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这 必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种 更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会 造成信息的大量丢失。主成分分析正是这样一种能够有效降低变量维数，并已 得到广泛应用的分析方法。 主成分分析以最少的信息丢失为前提， 将众多的原有变量综合 6210x 较少几 个综合指标，通常综合指标（主成分） 有以下几个特点： 主成分个数远远少于原有变量的个数 原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建 模，这将大大减少分析过程中的计算工作量。 主成分能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍， 而是原有变量重组后的结果 ， 因此不会造 成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。 主成分之间应该互不相关 通过主成分分析得出的新的综合指标 （主成分） 之间互不相关 ， 因子参与数 据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问 题。 主成分具有命名解释性 总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成 少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法 。 二、基本原理 主成分分析是数学上对数据降维的一种方法。 其基本思想是设法将原来众多 的具有一定相关性的指标 X1， X2，…， XP（比如 p个指标），重新组合成一组 较少个数的互不相关的综合指标 Fm来代替原来指标。那么综合指标应该如何去 提取，使其既能最大程度的反映原变量 Xp 所代表的信息，又能保证新指标之间 保持相互无关（信息不重叠）。 设 F1表示原变量的第一个线性组合所形成的主成分指标，即 F1 a11X 1 a21X 2 ... ap1X p , 由数学知识可知， 每一个主成分所提取的信息量可 用其方差来度量， 其方差 Var(F1) 越大，表示 F1 包含的信息越多 。常常希望第 一主成分 F1 所含的信息量最大， 因此在所有的线性组合中选取的 F1 应该是 X1， X2，…， XP的所有线性组合中方差最大的，故称 F1 为第一主成分。如果第一主 成分不足以代表原来 p 个指标的信息，再考虑选取第二个主成分指标 F2，为有 效地反映原信息， F1 已有的信息就不需要再出现在 F2 中，即 F2 与 F1要保持独 n n 1 k 1 1 立、不相关，用数学语言表达就是其协方差 Cov(F1, F2)=0，所以 F2 是与 F1 不 相关的 X1， X2，…， XP的所有线性组合中方差最大的，故称 F2 为第二主成分， 依此类推构造出的 F1、F2、……、 Fm为原变量指标 X1、X2……XP第一、第二、 ……、 第 m个主成分。 根据以上分析得知： (1) Fi 与 Fj 互不相关，即 Cov(Fi， Fj) = 0, 并有 Var(Fi)=ai ’Σai ，其 中Σ为 X 的协方差阵 (2)F1 是 X1， X2，…， Xp 的一切线性组合（系数满足上述要求）中方差最 大的 , …… , 即 Fm是与 F1， F2，……， Fm－1 都不相关的 X1， X2，…， XP的所有 线性组合中方差最大者。 F1，F2，…， Fm（m≤p）为构造的新变量指标， 即原变量指标的第一、 第二、 ……、 第 m个主成分。 由以上分析可见，主成分分析法的主要任务有两点： （ 1）确定各主成分 Fi （i=1， 2，…， m）关于原变量 Xj （j=1， 2 ，…， p ） 的表达式，即系数 aij （ i=1 ， 2，…， m； j=1 ， 2 ，…， p）。 从数学上可以