超定方程最小2乘解.docVIP

矩阵的每一行代表一个方程，m行代表m个线性联立方程。 n列代表n个变量。如果m是独立方程数，根据mn、m=n、mn确定方程是 ‘欠定’、‘适定’ 还是 ‘超定’。 超定方程组：方程个数大于未知量个数的方程组。 对于方程组Ra=y，R为n×m矩阵，如果R列满秩，且nm 超定方程一般是不存在解的矛盾方程。 例如，如果给定的三点不在一条直线上， 我们将无法得到这样一条直线，使得这条直线同时经过给定这三个点。 也就是说给定的条件（限制）过于严格， 导致解不存在。在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。比较常用的方法是最小二乘法。形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。 曲线拟合的最小二乘法要解决的问题，实际上就是求以上超定方程组的最小二乘解的问题。 欠定方程组: 方程个数小于未知量个数的方程组。 对于方程组Ra=y，R为n×m矩阵，且nm。则方程组有无穷多组解，此时称方程组为欠定方程组。 内点法和梯度投影法是目前解欠定方程组的常用方法。 – GX 的2-范数达取极小值的解，即 该问题是一个优化问题。 命题1：如果X*是正规方程组GTGX=GTb的解，则X*是超定方程组GX=b的最小二乘解 证 由题设可得，GT (b – GX*)=0。对任意n维向量Y，显然有 (X* – Y)TGT (b – GX*)=0 考虑残差2-范数平方，由 上式右端利用内积，得 从而有 || b – GY ||2 ≥ || b – GX*||2 等式仅当Y=X*时成立。所以X*是超定方程组GX=b的最小二乘解。 命题2：如果X*是超定方程组GX=b的最小二乘解，则X*满足正规方程组GTGX=GTb 证 由题设，，利用2-范数与内积关系，知X*是下面二次函数的极小值点 ?(X) = (GX，GX) – 2(GX，b) + (b，b) 取任意n维向量v，对任意实数t，构造一元函数 g(t) = ?(X* + t v) 显然， g(t) 是关于变量t的二次函数 g(t) = (G (X* + t v)，G (X* + t v)) – 2(G (X* + t v)，b) + (b，b) = g(0) + 2t [(GX*，Gv) – (Gv，b)]+ t2 (Gv，Gv) 由题设t=0是g(t)的极小值点。由极值必要条件，得。即 (GX*，Gv) – (Gv，b)=0 将左端整理化简，便得 (Gv，GX* – b ) =0 利用内积性质，得 ( v，GT(GX* – b ) )=0 由v的任意性，得GT(GX* – b ) =0 最小二乘解的几何意义 首先考虑一个简单的超定方程组 该方程组的右端向量是三维向量，系数矩阵的每一列也是三维向量，但待求的未知向量却是二维向量。将系数矩阵按列分块，G =[?1，?2]，记右端向量为?。则方程组求解问题可表示为求组合系数x和y使 x?1 + y?2 = ? 的向量的线性组合问题。由于两个向量?1，?2不构成三维空间的一组基，所以一般情况下这一问题无解。而由向量?1，?2张成的子空间span{?1，?2}是一张平面，记为?。则超定方程组的最小二乘解实际上是求X*，使GX* 恰好等于? 在平面?上的投影。而最小二乘解所对应的残差向量则垂直于向量GX*。事实上，由正规方程组 GTGX=GTb 得 GT (b –GX * ) = 0 上式的几何意义可解释为：最小二乘解的残差向量与超定方程组的系数矩阵G的所有列向量正交。从而 (X*)T GT (b –GX * ) = 0 所以 (GX *，b –GX * ) = 0 最小二乘解的两种方法 超定方程组的最小二乘解是指正规方程组 GTGX=GTb 的解。如果系数矩阵(GTG)可逆，则正规方程组有唯一解。此时，最小二乘解可以形式地写为如下形式 X=(GTG)-1GTb 两种常用的方法如下 1．用对称矩阵的三角分解法解正规方程组GTGX = GTb；记A=GTG，则A是对称矩阵，由三角分解A = L D LT，其中L是下三角矩阵，D是对角矩阵。将这一算法写过三个过程： ①解下三角方程组：LY1 = GTb； ②解对角方程组：DY2 = Y1 ； ③解上三角方程组：LTY3 = Y2 2．用矩阵的QR分解直接求解超定方程组 由QR分解（正交三角分解）G=QR，其中Q是正交矩阵，R是上三角矩阵。将QR分解代入最小二乘解表达式中，得 X=( R T QTQR)-1(QR)Tb = R-1QTb 由此可知，用分解方法求超定方程组的最小二乘解只需求解上三角方程组 RX=QTb 四、GPS定位解算原理 如果不考虑GPS接收机钟差，也不考虑信号传播过程的电离层延迟、对流层延迟和多径延迟误差，则GPS定位模型为 ，(