奇异值分解的几何意义.doc

奇异值分解的几何意义 ????今天上午在实验室仍然在看软件系统的文档，中午有 lunch meeting，我们实验室的人和 Suzuki 一起在附近的会议室边吃午饭边聊天。期间系里会议室的秘书告诉我们，今后会议室会安装投影。我刚到芝大时就感觉这么有名的学院，做报告时总要去系里借投影机，实在是不方便也不合理，现在情况总算改观。 ? ????下午一直在考虑谯旭昨天给我们讲的矩阵分解的问题。想着想着，逐渐感到矩阵分解里面还有很多东西自己弄得不够清楚。实际上，哪怕是最简单的矩阵转置运算，要说明白它的几何意义恐怕也不简单。然而，矩阵转置直接关系到对称阵，这又牵涉到矩阵分解的一些特殊类型和不同特性，实在是矩阵运算中很中心的内容。 ? ????今天下午弄明白了两件事情。一是矩阵奇异值分解的几何意义，二是对称阵在几何上的特点。我们知道奇异值分解在计算广义逆、主成分分析和相关性分析中都有广泛应用，它说的是任何矩阵(不仅包括方阵，因此适用范围比特征值分解更广)都可以分解为三个矩阵的乘积 M = SVD，其中 S 和 D 均是酉阵(正交阵在复数域的推广)，而 V 为增广对角阵。从直观上讲，S 和 D 可视为旋转操作，V 可视为缩放操作。因此奇异值分解的含义就是说，若将矩阵看做一个变换，那么任何这样的变换可以看做是两个旋转和一个缩放变换的复合。那么为什么矩阵可以做这样的分解？而不是 M = SV 或 M = VD ？我们看下面这个例子就清楚了。左边上面一排图形显示了 M = SV 的操作，下面一排图形显示了 M = VD 的操作，但是这两种操作都不能单独得到 G 中显示的斜切操作。 ????对于对称阵，我们知道可以做 cholesky 分解，对于实矩阵的情形，可以有 M = CC。我们接着对 C 做奇异值分解，可得 M = (SVD)(DVS) = S(VV)S，这意味着将实对称阵进行 SVD 分解时，前后两个旋转是互逆的。从几何上看，这使得其两个特征向量的方向正好与其缩放方向一致。下面左图是将一个任意矩阵作用在各单位向量上形成的椭圆，及其特征向量方向(实对称阵的奇异值分解与特征值分解基本是一致的，所得的特征向量矩阵即为S)；右图是将一个对称矩阵作用在各单位向量上形成的椭圆，及其特征向量方向。