主成分分析PCA(含有详细推导过程以和案例分析matlab版) .pdfVIP

........

主成分分析法(PCA)

在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间

常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性.势必增加了分析问题

的复杂性。如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数

信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成

分分析。

I.主成分分析法(PCA)模型

（一）主成分分析的基本思想

主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这

些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。这种将把多个变量

化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的

相互无关的综合变量来代替原来变量。通常.数学上的处理方法就是将原来的变量做线性组

合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果

将选取的第一个线性组合即第一个综合变量记为F.自然希望它尽可能多地反映原来变量的

1

信息.这里信息“”用方差来测量.即希望Var(F)越大.表示F包含的信息越多。因此在所有

11

的线性组合中所选取的F应该是方差最大的.故称F为第一主成分。如果第一主成分不足

11

以代表原来p个变量的信息.再考虑选取F即第二个线性组合.为了有效地反映原来信息.F

21

已有的信息就不需要再出现在F中.用数学语言表达就是要求Cov(F,F)0.称F为第

2122

二主成分.依此类推可以构造出第三、四……第p个主成分。

（二）主成分分析的数学模型

pn

对于一个样本资料.观测个变量x,x,x.个样品的数据资料阵为：

12p

.专业学习资料.

........

xxx





11121p



xxx





21222p

Xx,x,x

12p