超定方程及伪逆(很好).docxVIP

我们知道，对于一个超定（overdetermined）方程Ax==b（A的行数大于列数），其符合最小平方误差的解可以写成x==(ATA)-1ATb。其中(ATA)-1AT被称为伪逆（pseudoinverse）。伪逆是怎么来的，通过一顿推导，应用了向量求导方法，等等，最终得到的结果。但是其中包含了怎样的几何意义呢？我试着想了一下。为了方便描述，还是以司空见惯的3D空间为例。假设有一个超定方程Ax==b，其中A为3行2列（且列满秩），b为3个元素的列向量，x为两个元素的列向量。这样一个方程代表了怎样的一个几何问题呢？如果将A的两个列向量视为3D空间中的两个列向量，则Ax代表了对A的两个列向量进行线性组合，得到一个新的3D空间中的向量，而线性组合时两个列向量的系数，就是x的两个元素。方程Ax==b则要求，对A的两个列向量进行线性组合得到的新向量Ax，应该等于向量b。这里问题就来了，A的每个列向量都是3D向量，而A有两个这样的方向不同（列满秩）的3D向量，两个这样的3D向量的任意组合最终构成3D空间中的一个平面，我们称这个平面为α，也就是说Ax必然在平面α内，但是b却不一定在α内。如果b不在α内，?x: Ax≠b。这就是超定方程可能无解的原因，当然，如果b在平面α内，则此时方程也是有严格的解的。既然方程可能跟不无解，那么用伪逆求出来的解到底是什么呢？我们首先对矩阵A做奇异值分解（sing