PCA算法推倒.ppt

PCA李洋 2;如何汇报假定你是一个公司的财务;在许多实际问题中，多个变量之间;PCA:Principal C;内积运算将两个向量映射为一个实;假设A和B是两个n维向量，我们;现在我们从A点向B所在直线引一;到这里还是看不出内积和这东西有;基:一个二维向量可以对应二维笛;向量(x,y)实际上表示线性组;(1,1)和(-1,1)也可以;我们想获得(3,2)在新基上的;推导3基变换的矩阵表示将(;其中矩阵的两行分别为两个基，乘;协方差矩阵上面我们讨论了选择不;为了避免过于抽象的讨论，我们仍;第一个字段均值为2，第二个字段;通过上一节对基变换的讨论我们知;以上图为例，可以看出如果向x轴;推导5方差我们希望投影后投;由于上面我们已经将每个字段的均;推导6 协方差对于上面二维;如果我们还是单纯只选择方差最大;数学上可以用两个字段的协方差表;至此，我们得到了降维问题的优化;推导7协方差矩阵最终要达到;然后我们用X乘以X的转置，并乘;推导8协方差矩阵对角化设原;我们要找的P不是别的，而是能让;由上面两条可知，一个n行n列的;其中 为对角矩阵，其对角元素;PCA的算法步骤：设有m条n维;5）将特征向量按对应特征值大小;实例这里以上文提到的为例，我们;因为这个矩阵的每行已经是零均值;其对应的特征向量分别是：其中对;因此我们的矩阵P是：可以验证协;降维投影结果如下图：*;感谢大家！*