机器学习_降维算法.pptx

;;;;延迟符号;降维算法可以根据所采用策略的不同而进行不同的分类;延迟符号;向量的表示及基变换;; 下面是三维空间中的一组数据，很明显，数据的分布让我们很容易就能看出来主成分的轴（简称主轴）的大致方向。下面的问题就是如何通过数学计算找出主轴的方向。来看这张图：;1. 给定一组数据：;;构造拉格朗日函数：;去均值,方差归一化(预处理的实质是将坐标原点移到样本点的中心点) 求特征协方差矩阵 求协方差矩阵的特征值和特征向量 将特征值按照从大到小的顺序排序,选择其中最大的 k 个,然后将其对应的 k个特征向量分别作为列向量组成特征向量矩阵 将样本点投影到选取的特征向量上。假设样例数为 m,特征数为 n,减去均值后的样本矩阵为 DataAdjust(m*n),协方差矩阵是 n*n,选取的 k 个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据 FinalData 为;PCA具体举例 ;第三???：求协方差的特征值和特征向量，得到 ;PCA在实际中的应用： （自己写一个pca函数，与matlab库函数对比一下）在这块也可以介绍一下库函数用法;延迟符号; LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。;两类的线性判别问题;加上aTa=1的条件（类似于PCA）;?;?;例题：;　　　　LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。 　　　　首先我们看看相同点： 　　　　1）两者均可以对数据进行降维。 　　　　2）两者在降维时均使用了矩阵特征分解的思想。 　　　　3）两者都假设数据符合高斯分布。 　　　;　我们接着看看不同点： 　　　　1）LDA是有监督的降维方法，而PCA是无监督的降维方法 　　　　2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。 　　　　3）LDA除了可以用于降维，还可以用于分类。 　　　　4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。; 降维工具箱drtool;;谢谢！