矩阵的几个疑难点.PDFVIP

矩阵的几个疑难点 李新春 年 月 日 在机器学习的理论推导 中，几乎处处离不开矩阵和向量。之前已经总结 了矩阵的奇异值分 解和矩阵求导等公式，现在来整理一下自己在学习过程中认为比较有趣的，同时也是很重要 的 几个疑难点。分别是谱分解、范数、谱半径、条件数、广义特征值、矩阵直积、广义逆矩阵和 矩阵分解。 本文涉及很多公式定理，大多数参考自文献 《矩阵论》，广义逆处参考 《非线性最 优化理论与方法》。本文之所以大费周章地将公式定理从书中摘录下来，原因有二，一 是可以当做一个整理思路的过程，如何把矩阵论的知识贯穿起来并和机器学习里面的知识挂钩， 这是一个锻炼 的过程；同时，将重要 的公式自己敲一遍，可以加深 印象，增强对里面知识点的 理解。 谱分解 谱分解是和矩阵相似于对角矩阵这个重要知识点密不可分的，所以首先给 出关于矩阵相似 的几个循序渐进 的定理。 定理 任意阶矩阵与三角矩阵相似。 定理 阶矩阵与对 角矩阵相似 的充要条件为，有个线性无关的特征向量，即有 完备的特征向量 系。 定理 如果阶矩阵有个互不相 同的特征值 ，那么它与对 角矩阵相似。 定理 设矩 阵是阶复矩 阵，且其特征多项 式有如式 （）的分解 式，那么存在阶 复可逆矩阵矩阵，使得 ，其 中是如式 （）形式的标准形。其 中 不一 定是特征值 的重数，即对于上述两个式子 中的 ，有可能有 。