机器学习 主成分分析及奇异值分解.pdfVIP

机 器 学 习 期 末 报 告 成员：白子轩，安勇正，李文涛，王琳 时间：2016年4月9 日 - 1 - 主成分分析 （PCA）与奇异值分解 （SVD)原理及其应用 一、导论 在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分 析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相 关关系的。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必 然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为 有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信 息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛 应用的分析方法。 二、主成分分析 （PCA） 主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多 的具有一定相关性的指标X ,X ,X , X (比如p个指标），重新组合成一组较 1 2 3 p 少个数的互不相关的综合指标 来代替原来指标。那么综合指标应该如何去提 F m X 取，使其既能最大程度的反映原变量 所代表的信息，又能保证新指标之间保 持相互无关 （信息不重叠）。 设 表示原变量 的第一个线性组合所形成 的主成分指标，即 F 1 F a X a X  ...a X 1 11 1 2 1 2 p1 p ,由数学知识可知，每一个主成分所提取的信息量可 用其方差来度量，其方差 越大，表示 包含的信息越多。常常希望第一 Var(F ) F 1 1 主成分 所含的信息量最大，因此在所有的线性组合中选取的 应该是 F F 1 1 X ,X ,X , X F 的所有线性组合中方差最大的，故称 为第一主成分。如果第一 1 2 3 p 1 主成分不足以代表原来 个指标的信息，再考虑选取第二个主成分指标 ，为 p F2 有效地反映原信息， 已有的信息就不需要再出现在 中，即 与 要保持独 F F F F 1 2 2 1 立、不相关，用数学语言表达就是其协方差 ，所以 是与 不相