机器学习主成分分析及奇异值分解剖析.docx

机 器学习期末报告 成员：白子轩，安勇正，李文涛，王琳 时间：2016 年 4 月 9 日 - 1 - 主成分分析（PCA）与奇异值分解（SVD)原理及其应用 主成分分析（PCA）与奇异值分解（SVD)原理及其应用 一、导论 在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分 析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必 然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。 二、主成分分析（PCA） ?主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标 X , X , X , X (比如 p 个指标），重新组合成一组较 ? 1 2 3 p 少个数的互不相关的综合指标 F m 来代替原来指标。那么综合指标应该如何去提 取，使其既能最大程度的反映原变量 X 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。 设 F 表 示 原 变 量 的 第 一 个 线 性 组 合 所 形 成 的 主 成 分 指 标 ， 即 1 F ? a X 1 11 1