SVD(奇异值)算法及其评估概要.doc

SVD（奇异值分解）算法及其评估 本文第一部分对SVD进行了简单的介绍，给出了定义和奇异值分解定理；第二部分简要地列举了SVD的应用；第三部分则构造和分析了各种求解SVD的算法，特别对传统QR迭代算法和零位移QR迭代算法进行了详细完整的分析；第四部分给出了复矩阵时的处理办法；第五部分是对各种算法的一个简要的总结。 SVD简介 定义1.1 设，的特征值的非负平方根称作的奇异值；的奇异值的全体记作[1]。 当为复矩阵时，只需将改为，定义1.1仍然成立。 定理1.1（奇异值分解定理） 设，则必存在正交矩阵 和 使得 ， (1.1) 其中[2]。 当为复矩阵时，只需将定理中改为酉矩阵，其它不变，定理1.2仍然成立[1]。 称分解式(1.1)为矩阵的奇异值分解，通常简称为SVD。是的奇异值，向量和分别是第个左奇异向量和第个右奇异向量。 从的奇异值分解，我们可以得到的一些非常有用的信息，下面的推论就列举其中几条最基本的结论[1]： 推论1.2 设，则 (1) 的非零奇异值的个数就等于 ； (2) 是(零空间)的一组标准正交基； (3) 是(值域)的一组标准正交基； (4) 称为的满秩奇异值分解； 其中，分别指得是的零空间和值域。 为了方便，我们采用如下表示奇异值的记号： 的第大奇异值； 的最大奇异值； 的最小奇异值。 现在来考察矩阵奇异值的几何意义[1,2]，不妨设，此时有 是一个超椭球面，它的个半轴长正好是的个奇异值，这些轴所在的直线正好是的左奇异向量所在的直线，它们分别是对应的右奇异向量所在直线的象: 一般地我们假设，（对于的情况，我们可以先对转置，然后进行奇异值分解，最后对所求得的SVD分解式进行转置就可以得到原式SVD分解式），此时我们对(1.1)进行化简将表示为： (1.2) 则可以得到更加细腻的SVD分解式[2,3]： (1.3) 其中具有列维正交向量， 和(1.1)式中的定义相同；，并且为矩阵的奇异值。 SVD应用 在现代科学计算中SVD具有广泛的应用，在已经比较成熟的软件包LINPACK中列举的应用有以下几点[3]: 确定矩阵的秩(rank) 假设矩阵的秩为，那么的奇异值满足如下式子 ； 反之，如果，且，那么矩阵的秩为，这样奇异值分解就可以被用来确定矩阵的秩了。 事实的计算中我们几乎不可能计算得到奇异值正好等于0，所以我们还要确定什么时候计算得到的奇异值足够接近于0，以致可以忽略而近似为0。关于这个问题，不同的算法有不同的判断标准，将在给出各种算法的时候详细说明。 确定投影算子 假设矩阵的秩为,那么我们可以将(1.3)式中的划分为以下的形式 其中为的矩阵，并且的列向量构成了矩阵的列空间的正交向量基。 容易得到为投影到矩阵的列空间上的正交投影算子；而则是到矩阵列空间的正交补空间上的投影。 同理如果将划分为以下的形式 其中为的矩阵，则的列向量构成矩阵的行空间的正交向量基。且为投影到矩阵的行空间上的正交投影算子；而则是到矩阵行空间的正交补空间上的投影。 最小二乘法问题(LS 问题) 促进人们研究SVD并且应用SVD比较早的应该是最小二乘法问题了，在前一份关于QR分解的报告已经对LS问题进行了一些介绍，这里继续讨论SVD在LS问题中的应用。 LS问题即相当于，设，求使得 (2.1) 假设已知矩阵有式子(1.1)得到的SVD分解式为，和分别为阶正交方阵，而为和具有相同维数的对角矩阵，那么我们可以得到[4]： 其中，。 因为是一正交矩阵，所以，从而把原最小二乘法问题化为求使最小的这一最小二乘法问题，因为为对角矩阵，所以使得新的这一最小二乘法问题简单的多，接着将对此仔细分析[4]。 假设矩阵的秩为，则有： ， 可知使得达到它的最小长度，并且可见当时，上面的这一长度为0，也就是当矩阵的列张成空间时最小二乘法问题可以无误差地求解。而当时，可以任意取，而不影响的长度。 我们将对转置并且对非零的对角元素求逆所得到的矩阵定义为，那么的前个元素将等于，并且其余的元素为0。并且由，，容易得到： 由此得到的是LS问题的最小范数解。 而文献[3]中还给出了一般通解的形式如下： 其中如前定义，而是任意的维向量。 广义逆问题(pseudo-inverse) 记，从(2.3)式我们可以看出，最小二乘法的解为，和一般的线性方程组的解为相类似，所以我们当我们已知矩阵的奇异值分解后可以定义的广义逆为。 条件数 如果已知矩阵的秩为，那么在式子(2.3)中，解随着矩阵的扰