矩阵的奇异值分解及其应用.docxVIP

矩阵的奇异值分解（SVD）及其应用 版权声明： 本文由 LeftNotEasy 发布于 , 本文可以被全部的转载 或者部分使用，但请注明出处，如果有问题，请联系 wheeleast@ 前言： 上一次写了关于 PCA 与 LDA 的文章，PCA 的实现一般有两种，一种是用特征值分解去实 现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值 和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里 面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意 义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些 小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大 眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个 较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生 就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD 是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做 feature reduction 的 PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的 LSI（Latent Semantic Indexing） 另外在这里抱怨一下，之前在百度里面搜索过 SVD，出来的结果都是俄罗斯的一种狙击枪 （AK47 同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做 SVD，而在 Google 上 面搜索的时候，出来的都是奇异值分解（英文资料为主）。想玩玩战争游戏，玩玩 COD 不是 非常好吗，玩山寨的 CS 有神马意思啊。国内的网页中的话语权也被这些没有太多营养的帖子 所占据。真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞 Data Mining 的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中 文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。 前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不 过本文不准备在如何计算奇异值上展开太多。另外，本文里面有部分不算太深的线性代数的知 识，如果完全忘记了线性代数，看本文可能会有些困难。 一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关 系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重 要的特征。先谈谈特征值分解吧： 1）特征值： 如果说一个向量 v 是方阵 A 的特征向量，将一定可以表示成下面的形式： 这时候 λ 就被称为特征向量 v 对应的特征值，一个矩阵的一组特征向量是一组正交向量。 特征值分解是将一个矩阵分解成下面的形式： 其中 Q 是这个矩阵 A 的特征向量组成的矩阵，Σ 是一个对角阵，每一个对角线上的元素就 是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩 阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向 量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵 M 乘以一个 向量(x,y)的结果是： 上面的矩阵是对称的，所以这个变换是一个对 x，y 轴的方向一 个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值1 时，是拉长，当 值1 时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子： 它所描述的变换是下面的样子： 这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头 是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我 们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子，分解得到 的 Σ 矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是 描述这个矩阵变化方向（从主要的变化到次要的变化排列） 当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可 能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值 分解得到的前 N 个特征向量，那么就对应了这个矩阵最主要的 N 个变化方向。我们利用这前 N 个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。 总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要， 而特征向量表示这个特征是什么，可以将每一个特征向量理解