机器学习主成分分析及奇异值分解剖析.docx

机器学习主成分分析及奇异值分解剖析.docx

机

器学习期末报告

成员:白子轩,安勇正,李文涛,王琳

时间:2016年4月9日

-1-

主成分分析(PCA)与奇异值分解(SVD)原理及其应用

主成分分析(PCA)与奇异值分解(SVD)原理及其应用

一、导论

在实际问题研究中,多变量问题是经常会遇到的。变量太多,无疑会增加分

析问题的难度与复杂性,而且在许多实际问题中,多个变量之间是具有一定的相关关系的。

为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必

然又会导致信息丢失和信息不完整等问题的产生。为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。

二、主成分分析(PCA)

?主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标X,X,X, X (比如p个指标),重新组合成一组较

?

1 2 3 p

少个数的互不相关的综合指标F

m

来代替原来指标。那么综合指标应该如何去提

取,使其既能最大程度的反映原变量X所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。

设F表示原变量的第一个线性组合所形成的主成分指标,即

1

F?a X

1 11 1

文档评论(0)

1亿VIP精品文档

相关文档