厦门大学应用多元统计分析 第06章 主成分分析.ppt

性质 2 主成分的总方差等于原始变量的总方差。 证明：由矩阵“迹”的性质知 ( ) ( ) ( ) ( ) tr tr tr tr ? ? ? ? ? Λ T Σ T Σ TT Σ 所以 1 1 p p i ii i i ? ? ? ? ? ? ? (6.20 ） 或 1 1 ( ) ( ) p p i i i i D Y D X ? ? ? ? ? (6.21 ） 性质 3 主成分 k Y 与原始变量 i X 的相关系数为 ( , ) k k i ki ii Y X t ? ? ? ? (6.22 ） 并称之为因子负荷量（或因子载荷量） 。 证明：事实上 ( , ) ( , ) ( , ) ( ) ( ) k i k i k i k i k ii Cov Y X Cov T e Y X D Y D X ? ? ? ? ? ? X X 其中的 (0, ,0,1,0, ,0) i e ? L L ，它是除第 i 个元素为 1 外其他元 素均为 0 的单位向量。而 ( , ) ( ) ( ) k i k i i k i k k k i k k ki Cov T e T e e T e T e T t ? ? ? ? ? ? ? ? ? ? ? ? ? X X Σ Σ 所以 ( , ) k k i ki ii Y X t ? ? ? ? 。 性质 4 k p i ii i k X Y ? ? ? ? ? ? ? 1 2 ) , ( ， （ p k , , 2 , 1 ? ? ） 。 证明：只须将 (6.22 ） 代入左边式子整理化简即可。 二、主成分的方差贡献率 ? 由主成分的性质 2 可以看出，主成分分析把 p 个原始变量 1 2 , , , p X X X L 的总方差 ( ) tr Σ 分解成了 p 个相互独立的 变量 1 2 , , , p Y Y Y L 的方差之和 1 p k k ? ? ? 。主成分分析的目的是 减少变量的个数，所以一般不会使用所有 p 个主成分的， 忽略一些带有较小方差的主成分将不会给总方差带来太 大的影响。这里我们称 1 p k k k k ? ? ? ? ? ? (6.23 ） ? 为第 k 个主成分 k Y 的贡献率。 第一主成分的贡献率最大， 这表 明 1 1 Y T ? ? X 综 合 原 始 变 量 1 2 , , , p X X X L 的 能 力 最 强 ， 而 2 3 , , , p Y Y Y L 的综合能力依次递减。若只取 ( ) m p ? 个主成分， 则称 1 1 p m m k k k k ? ? ? ? ? ? ? ? (6.24 ） 为主成分 1 , , m Y Y L 的累计贡献率，累计贡献率表明 1 , , m Y Y L 综 合 1 2 , , , p X X X L 的能力。通常取 m ，使得累计贡献率达到一 个较高的百分数（如 85 ％以上） 。 例 设 的协方差矩阵为 3 2 1 , , x x x ? ? ? ? ? ? ? ? ? ? ? ? ? 2 0 0 0 5 2 0 2 1 ? 解得特征根为 ， ， 83 . 5 1 ? ? 00 . 2 2 ? ? 17 . 0 3 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 000 . 0 924 . 0 383 . 0 1 U ? ? ? ? ? ? ? ? ? ? ? 1 0 0 2 U ? ? ? ? ? ? ? ? ? ? ? 000 . 0 383 . 0 924 . 0 3 U 第一个主成分的贡献率为 5.83/ （ 5.83+2.00+0.17 ） =72.875% ，尽 管第一个主成分的贡献率并不小，但在本题中第一主成分不含 第三个原始变量的信息，所以应该取两个主成分。 X i 与 F 1 的 相关系数 平方 X i 与 F 2 的相关系 数 平方 信息提取 率 x i 1 0.925 0.855 0 0 0.855 2 -0.998 0.996 0 0 0.996 3 0 0 1 1 1 1 1 ) , ( i i F x ? ? ? 2