机器学习系列手记（四）：降维之PCA最大方差理论.pdfVIP

机器学习系列⼿记（四）：降维之PCA最⼤⽅差理论

降维

在机器学习中，数据通常需要被表⽰成向量形式以输⼊模型进⾏训练，有时这些向量所处在⾼维空间，包含很多冗余和噪声，对这样的

向量进⾏处理和分析会极⼤地消耗系统资源，甚⾄产⽣维度灾难。因此，进⾏降维，即⽤⼀个低维度的向量表⽰原始⾼维度的特征就显得极

其重要。我们希望通过降维的⽅式来寻找数据内部的特性，从⽽提升特征表达能⼒，降低训练复杂度。常见的降维⽅法有主成分分析、线性

判别分析、等距映射、局部线性嵌⼊、拉普拉斯特征映射、局部保留投影等。

⼀PCA最⼤⽅差理论

PCA（PrincipalComponentsAnalysis），即主成分分析，是⼀种线性、⾮监督、全局的降维算法，旨在找到数据中的主成分，并

利⽤这些主成分表征原始数据，从⽽达到降维的⽬的。

1、如何定义主成分

举个简单的例⼦，在三维空间中有⼀系列数据点，这些点分布在⼀个过原点的平⾯上。如果⽤⾃然坐标系三个轴来表⽰数据，就

x,y,z

需要使⽤三个维度。⽽实际上，这些点只出现在⼀个⼆维平⾯上，如果通过坐标系旋转变换使得数据所在平⾯与平⾯重合，那么就可以

x,y

通过′′两个维度表达原始数据，且没有任何损失，这样就完成了降维,⽽′′两个轴所包含的信息就是我们要的主成分。

x,yx,y

2、如何设计⽬标函数使得降维达到提取主成分的⽬的

下图（a）所⽰为⼆维空间中经过中⼼化的⼀组数据，可以很容易看出主成分所在的轴（以下简称主轴）是图（b）中的黄线所处的轴。

因为黄线所处的轴上数据分布更为分散，也就意味着数据在这个⽅向上⽅差更⼤。

在信号处理领域，我们认为信号具有较⼤⽅差，噪声具有较⼩⽅差，信号与噪声之⽐称为信噪⽐。信噪⽐越⼤意味着数据质量越好，反

之亦然。由此我们可以引出PCA的⽬标，即最⼤化投影⽅差，也就是数据在主轴上投影的⽅差最⼤。

3、PCA的求解⽅法

（1）对样本数据进⾏中⼼化处理（即去均值）。

（2）求样本协⽅差矩阵。

（3）对协⽅差矩阵进⾏特征值分解，将特征值从⼤到⼩排列。

（4）取特征值前⼤对应的特征向量，通过以下映射将维样本映射到维

dw,w,...,wnd

12d

′

新的的第维就是在第个主成分⽅向上的投影，通过选取最⼤的个特征值对应的特征向量，我们将⽅差较⼩的特征（噪声）抛

xdixdiwdd

′

弃，使得每个维列向量被映射为维列向量，定义将为后的信息占⽐为

nxidxi

d2

∑λ

i=1i

n2

∑λ