05.矩阵理论与方法_矩阵分解.ppt

* * * * * * * * * * * * * * 矩阵的奇异值分解 定理：设 ，则存在 阶酉矩阵 和 阶酉矩阵 ，使得 其中 ，而 为矩阵 的全部非零奇异值。 称 为矩阵 的奇异值分解。 例：求矩阵 的奇异值分解。 证明：设矩阵 的奇异值分解为 ，求证： 的列向量是 的特征向量，而 的列向量是 的特征向量。 * 矩阵的奇异值分解 定理：在矩阵 的奇异值分解中，记 和 的列向量分别为 和 ，则有 * 矩阵正交相抵 定义：设 ，如果存在 阶正交矩阵 和 阶正交矩阵 ，使得 ，则称 和 正交相抵。 注：正交相抵关系是一种等价关系。 定理：正交相抵矩阵具有相同的奇异值。 * 应用-数据降维 假设有一组数据 ,通常自然界获取的数据在不同维之间具备一定的相关性。 可以通过消除数据在不同维度之间的相关性，将n维数据降到r维，降低数据存储和处理的复杂度。 如何降维？ 降维后的数据应该保持数据的主要特性，尽量不丢失信息。 降维后数据不同维度间尽量不相关，保持一定的独立性。 * 应用-数据降维 问题的本质：重新建立新的坐标体系，让能量集中。 * 应用-数据降维 假设原坐标系为自然标架 ，新坐标系为 ，为标准正交基。过渡矩阵为 （正交矩阵），即 数据在新坐标系下的向量分别为 ，则有 数据的能量集中度以及相关性可以用协方差矩阵来描述。即令 协方差矩阵 则有 * 应用-数据降维 令矩阵 的奇异值分解为 则当 时，新坐标系可以满足数据降维的要求。 * 练习 P195 1、2、3、4 P219 1、2、4、7 P220 8、9 P225 1、2、3、4 P233 1 P234 2、4 * * * * * * * * * * * * * * * * * * * * * * * * 信息与通信工程学院 庄伯金 bjzhuang@bupt.edu.cn * 矩阵理论与方法 第4章 矩阵分解 庄 伯 金 Bjzhuang@bupt.edu.cn * 主要内容 矩阵的LU分解 矩阵的QR分解 矩阵的满秩分解 矩阵的奇异值分解 * 线性方程组中的高斯消元法 记线性方程组 若令 ， ， ，则有 可利用高斯消元法求解线性方程组 * 高斯自然顺序主元素消元法 考虑一种理想情况，在消元过程中，矩阵对角元素始终不为零，则可以按对角元素的自然顺序进行消元，即不用进行行或列交换。 记 ，其中 令 ，构造Frobenius矩阵 * 高斯自然顺序主元素消元法 可得： 因为 由最初的假设，应有 ，即 的二阶顺序主子式 。 令 ，构造Frobenius矩阵 * 高斯自然顺序主元素消元法 可得： 依次类推，可得 的 阶顺序主子式 ，以及相应的Frobenius矩阵和上三角矩阵。 * 高斯自然顺序主元素消元法 令 则有 * 矩阵的三角分解 定义：若 阶矩阵 能够分解为一个下三角矩阵 和一个上三角矩阵 的乘积，则称其为三角分解或 LU分解。 注：矩阵 的LU分解不唯一。 定义：若 阶矩阵 能够分解为 ，其中 为单位下三角矩阵， 为单位上三角矩阵， 为对角矩阵，则称其为矩阵的LDU分解。 定理： 阶矩阵 存在唯一的LDU分解的充要条件是 的前 阶顺序主子式 。且有 推论：设 是 阶非奇异矩阵， 有三角分解 的充要条件是 的顺序主子式 。 * 矩阵的三角分解 例：求矩阵 的LDU分解。 * 矩阵的CROUT分解算法 定义：若 阶矩阵 存在分解 ，令 ，则称 为矩阵的Crout分解。 记 对比矩阵等式 两边的元素，可递推得到 中各项元素。 第1列 第1行 第 列 * 矩阵的CROUT分解算法 第 行 例：求矩阵