降维算法研究与比较.pptVIP

降维算法分类的简单汇总图 1、PCA算法的介绍 PCA（Principal component analysis）中文翻译为主成分分析，是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主成分分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。 PCA算法的原理 主要思想：将原本的数据降低维度，从而使得降低了维度的数据之间的方差最大（也可以说投影误差最小）。 目标：找到一组正交基，使样本变换后样本的协方差为0，方差尽可能大。 推导过程 样本均值 （N为样本点个数） 样本协方差矩阵 （对角线上的元素为方差，其它为协方差） 优化目标等价于将协方差矩阵对角化，设P为变换矩阵，新空间的样本 y的协方差矩阵为 那么优化目标变为：寻找矩阵P，满足D为对角矩阵 PCA算法步骤 设有N个M维的样本数据 1）将原始数据按列组成M行N列矩阵X； 2）将X的每一行进行零均值化，即减去这一行的均值； 3）求出协方差矩阵 ； 4）求