主成分分析PCA(含有详细推导过程以与案例分析matlab版) .pdfVIP

主成分分析法(PCA)

在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之

间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问

题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多

数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进

行主成分分析。

I.主成分分析法(PCA)模型

（一）主成分分析的基本思想

主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使

这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变

量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的

相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组

合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？

如果将选取的第一个线性组合即第一个综合变量记为F，自然希望它尽可能多地反映原来

1

变量的信息，这里“信息”用方差来测量，即希望()

VarF越大，表示F包含的信息越多。

11

因此在所有的线性组合中所选取的F应该是方差最大的，故称F为第一主成分。如果第一

11

主成分不足以代表原来p个变量的信息，再考虑选取F即第二个线性组合，为了有效地反

2

映原来信息，F已有的信息就不需要再出现在F中，用数学语言表达就是要求

12

Cov(F,F)0Fp

，称为第二主成分，依此类推可以构造出第三、四……第个主成分。

122

（二）主成分分析的数学模型

pn

对于一个样本资料，观测个变量x,x,x，个样品的数据资料阵为：

12p

xxx



11121p



xxx



21222p

Xx,x,x

12p





