机器学习及其应用：数据降维PPT教学课件.pptxVIP

第七章数据降维

目录主成分分析7.1数据降维算法案例7.2CONTENTS在很多应用问题中向量的维数会很高。处理高维向量不仅给算法带来挑战，而且不便于可视化，另外还会面临维数灾难的问题。降低向量的维数是数据分析中一种常用的手段。本章介绍经典的线性降维方法-主成分分析，以及非线性降维技术-流形学习算法。

主成分分析7.1

主成分分析在有些应用中向量的维数非常高。以图像数据为例，对于高度和宽度都为100像素的图像，如果将所有像素值拼接起来形成一个向量，这个向量的维数是10000。一般情况下，向量的各个分量之间可能存在相关性。直接将向量送入机器学习算法中处理效率会很低，也影响算法的精度。为了可视化显示数据，我们也需要把向量变换到低维空间中。如何降低向量的维数并且去掉各个分量之间的相关性？主成分分析就是达到这种目的方法之一。7.1.1数据降维问题主成分分析是一种数据降维和去除相关性的方法，它通过线性变换将向量投影到低维空间。对向量进行投影就是对向量左乘一个矩阵，得到结果向量：?在这里，结果向量的维数小于原始向量的维数。降维要确保的是在低维空间中的投影能很好地近似表达原始向量，即重构误差最小化。图下是主成分投影示意图。

主成分分析?

主成分分析显然问题的最优解是这些向量的均值：??证明很简单。为了求上面这个目标函数的极小值，对它求梯度并令梯度等于0，可以得到：?

主成分分析解这个方程即