矩阵论课件第5章矩阵分解幻灯片.pptVIP

对向量 ，令 解： 从而得Householder 矩阵 （ 实际上是平面 的法向量） 使得 对向量 ，令 （ 实际上是平面 的法向量） 可得 Householder 矩阵 因此取 从而有 则 特征值问题的QR算法 QR算法是二十世纪十大算法之一，其基本 思想基于QR迭代: (1) 令 ； (2) 对 ，重复 ① 对 做QR分解： ② 令 直至 收敛。 由 知 ，因此 因此迭代序列 保持特征值不变 其中 可以证明，在一定条件下，迭代序列 收敛到上三角矩阵 T 。 这也说明QR迭代也可看成是对 作 Schur 分解。特别地，如果 是Hermite矩阵，那么上三角矩阵 变成对角矩阵。 由于计算成本的缘故，数值实现时一般先将矩阵 变换成上Hessenberg矩阵 (第一条次对角线以下均为零的矩阵)，然后再使用QR迭代。 5.3 矩阵的奇异值分解 从Beltrami (1873)和Jordan (1874)提出奇异值分解(SVD, Singular value decomposition)至今，SVD及其推广已经成为矩阵计算最有用和最有效的工具之一，在最小二乘问题、最优化、统计分析、信号与图像处理、系统理论与控制等领域被广泛使用。 一、从几何观测说起 圆 经过变换 ，变成椭圆 。圆的正交方向 变成椭圆的长、短轴方向 假定矩阵 是列满秩矩阵。 一般地， 维空间中的单位球面 经过变换 变成超椭圆 。正交方向 变成超椭圆的主半轴方向 。称 的 个主半轴的长度 为 的奇异值， 对应的单位向量 为 的左奇异向量(left singular vector)，对应的原象 为 的右奇异向量。相应的空间称为奇异空间 二、矩阵的奇异值分解 前面已经指出： 矩阵形式为 这里矩阵 是列正交矩阵， 是酉矩阵。 这样就得到 的约化奇异值分解 同样地，将矩阵 扩充为 阶酉矩阵 ， 并令 ，则得 的完全奇异值分解 定义1　对任意矩阵 ，矩阵 的非零奇异值 就是矩阵 或 的非零特征值的平方根。 矩阵 在多元统计分析中称为协方差矩阵，这说明SVD会在其中被广泛使用，事实上也确实如此。 定理1　对任意矩阵 ，都存在一个完全奇异值分解 。并且奇异值 是唯一确定的。也就是任意矩阵酉等价于对角阵 定理2　对矩阵 ， 表示矩阵 的 个非零奇异值，则 定理3　对任意矩阵 ，矩阵 的非零奇异值数目为 ， 为矩阵 的SVD分解，则 证明：　将 的SVD分解分块为 于是有 从而 第二步：令 为 的非负对角的平方根，计算 三、矩阵SVD分解的算法 由定理4和5，任意矩阵 的SVD分解的算法为： 第一步： 形成 ，并计算特征值分解 第三步: 通过求 的解空间的单位正交基，得 ，从而得 例 5.3.1 求下列矩阵的（完全）SVD分解： 解：（1） 矩阵 的特征值为 ，对应的特征向量为 从而