pca的原理及步骤.pdfVIP

一、基本原理 主成分分析是数学上对数据降维的一种方法。 其基本思想是设法将原来众多 的具有一定相关性的指标 X1，X2，…，XP （比如p 个指标），重新组合成一组较 Fm 少个数的互不相关的综合指标 来代替原来指标。那么综合指标应该如何去提 取，使其既能最大程度的反映原变量 Xp 所代表的信息，又能保证新指标之间保 持相互无关（信息不重叠） 。 设 F1 表 示 原 变 量 的 第 一 个 线 性 组 合 所 形 成 的 主 成 分 指 标 ， 即 F a X a X ... a X 1 11 1 21 2 p1 p , 由数学知识可知， 每一个主成分所提取的信息量可 用其方差来度量， 其方差 Var(F1) 越大，表示 F1 包含的信息越多 。常常希望第 一主成分 F1 所含的信息量最大， 因此在所有的线性组合中选取的 F1应该是 X1， X2，…，XP 的所有线性组合中方差最大的，故称 F1 为第一主成分。如果第一主 成分不足以代表原来 p 个指标的信息，再考虑选取第二个主成分指标 F2，为有 效地反映原信息， F1 已有的信息就不需要再出现在 F2 中，即 F2 与 F1 要保持独 立、不相关，用数学语言表达就是其协方差 Cov(F1, F2)=0，所以 F2 是与 F1 不 相关的 X1，X2，…，XP 的所有线性组合中方差最大的，故称 F2 为第二主成分， 依此类推构造出的 F1、F2、……、Fm为原变量指标 X1、X2……XP第一、第二、……、 第 m个主成分。 F a X a X ... a X 1 11 1 12 2 1 p p F a X a X ... a X 2 21 1 22 2 2 p p F a X a X ... a X m m1 1 m2 2 mp p 根据以上分析得知： (1) Fi 与 Fj 互不相关，即 Cov(Fi ，Fj) = 0, 并有 Var(Fi)=ai ’Σai ，其 中Σ为 X 的协方差阵 (2)F1 是 X1，X2，…，Xp 的一切线性组合（系数满足上述要求）中方差最 大的 , ……, 即 Fm是与 F1，F2，……，Fm－1 都不相关的 X1，X2，…，XP 的所有 线性组合中方差最大者。 F1，F2，…，Fm（m≤p）为构造的新变量指标， 即原变量指标的第一、第二、……、 第 m个主成分。 由以上分析可见，主成分分析法的主要任务有两点： （1）确定各主成分 Fi （i=1 ，2，…，m）关于原变量 Xj （j=1 ，2 ，…， p ） 的表达式，即系数 aij （ i=1 ，2，…， m； j=1 ，2 ，…， p）。从数学上可以证 明，原变量 协方差 矩阵的特征根是主成分的方差，所以前 m 个较大特征根就代 表前 m个较大的主成分方差值；原变量 协方差 矩阵前 m 个较大的特征值 i （这 样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分