(完整版)主成分分析法的原理应用及计算步骤...docVIP

一、概述 在 理信息 ， 当两个 量之 有一定相关关系 ， 可以解 两个 量反映此 的信息有一定的重叠， 例如，高校科研状况 价中的立 数与 目 、 支出等之 会存在 高的相关性；学生 合 价研究中的 基 成 与 成 、 学金次数等之 也会存在 高的相关性。而 量之 信息的高度重叠和高度相关会 方法的 用 来 多障碍。 了解决 些 ，最 和最直接的解决方案是削减 量的个数，但 必然又会 致信息 失和信息不完整等 的 生。 此，人 希望探索一种更 有效的解决方法，它既能大大减少参与数据建模的 量个数，同 也不会造成信息的大量 失。主成分分析正式 一种能 有效降低 量 数，并已得到广泛 用的分析方法。 主成分分析以最少的信息 失 前提， 将众多的原有 量 合成 少几个 合指 ，通常 合指 （主成分） 有以下几个特点： 主成分个数 少于原有 量的个数 原有 量 合成少数几个因子之后，因子将可以替代原有 量参与数据建模， 将大大减少分析 程中的 算工作量。 主成分能 反映原有 量的 大部分信息 因子并不是原有 量的 取舍， 而是原有 量重 后的 果 ，因此不会造成原有 量信息的大量 失，并能 代表原有 量的 大部分信息。 主成分之 互不相关 通 主成分分析得出的新的 合指 （主成分）之 互不相关 ，因子参与数据建模能 有效地解决 量信息重叠、多重共 性等 分析 用 来的 多 。 主成分具有命名解 性 之，主成分分析法是研究如何以最少的信息 失将众多原有 量 成 少数几个因子，如何使因子具有一定的命名解 性的多元 分析方法 。 二、基本原理 主成分分析是数学上 数据降 的一种方法。 其基本思想是 法将原来众多的具有一定相关性的指 X1， X2，?， XP（比如 p 个指 ），重新 合成一 少个数的互不相关的 合指 Fm来代替原来指 。那么 合指 如何去提取，使其既能最大程度的反映原 量 Xp 所代表的信息，又能保 新指 之 保持相互无关（信息不重叠） 。 F1 表 示 原 量 的 第 一 个 性 合 所 形 成 的 主 成 分 指 ， 即 F1 a11X1 a21X 2 ... a p1 X p , 由数学知 可知， 每一个主成分所提取的信息量可 用其方差来度量， 其方差 Var(F1) 越大，表示 F1 包含的信息越多 。常常希望第一主成分 F1 所含的信息量最大， 因此在所有的 性 合中 取的 F1 是 X1，X2，?，XP的所有 性 合中方差最大的，故称 F1 第一主成分。如果第一主成分不足以代表原来 p 个指 的信息，再考 取第二个主成分指 F2， 有 效地反映原信息， F1 已有的信息就不需要再出 在 F2 中，即 F2 与 F1 要保持独 立、不相关，用数学 言表达就是其 方差 Cov(F1, F2)=0，所以 F2 是与 F1 不 相关的 X1，X2，?， XP的所有 性 合中方差最大的，故称 F2 第二主成分，依此 推构造出的 F1、F2、??、Fm 原 量指 X1、X2?? XP第一、第二、??、第 m个主成分。 F1 a11 X1 a12 X 2 ... a1 p X p F2 a21X1 a22 X 2 ... a2 p X p ...... Fm am1X1 am2 X 2 ... amp X p 根据以上分析得知： (1) Fi 与 Fj 互不相关，即 Cov(Fi ，Fj) = 0, 并有 Var(Fi)=ai ’Σ ai ，其 中Σ X 的 方差 (2)F1 是 X1，X2，?， Xp 的一切 性 合（系数 足上述要求）中方差最 大的 , ?? , 即 Fm是与 F1，F2，??， Fm－ 1 都不相关的 X1，X2，?， XP的所有 性 合中方差最大者。 F1，F2，?，Fm（m≤ p） 构造的新 量指 ，即原 量指 的第一、第二、??、 第 m个主成分。 由以上分析可 ，主成分分析法的主要任 有两点： 1）确定各主成分 Fi （i=1 ，2，?， m）关于原 量 Xj （j=1 ，2 ，?， p ）的表达式，即系数 aij （ i=1 ， 2，?， m； j=1 ，2 ，?， p）。从数学上可以 明，原 量 方差矩 的特征根是主成分的方差，所以前 m 个 大特征根就代 表前 m 个 大的主成分方差 ；原 量 方差矩 前 m 个 大的特征 i （ 取才能保 主成分的方差依次最大）所 的特征向量就是相 主成分 Fi 表达式的系数 ai ， 了加以限制，系数 ai 启用的是 i 的 位化的特征向量， 即有 ai ai = 1 。 （ 2） 算主成分 荷， 主成分 荷是反映主成分 Fi 与原 量