超定方程组的最小二乘.pptVIP

数 学MATH 第二节 超定方程组的最小二乘解 设方程组Ax=b中, A=(aij)m?n, b是m 维已知向量, x是n 维解向量,当 mn 即方程组中方程的个数多于自变量的个数, 称此方程组为超定方程组. * 上页 下页 第六章 第二节 返回 思维的体操 ——加里宁 Ax=b 的最小二乘解。 记 r=b-Ax, 称使 最小的解 为方程组 定义 x*是 Ax=b的最小二乘解的充要条件 为: x*是 ATAx=ATb 的解. 定理3 定理3 x*是 Ax=b 的最小二乘解的充要条件为: x*是 ATAx=ATb 的解. 则 所以x *是Ax=b 的最小二乘解。 证：充分性：若存在n 维向量x*使 任取一n维向量 令 必要性： r=b-Ax 的第 i 个分量为 记 由多元函数求极值的必要条件，可得 写成矩阵形式为 它是关于 或法方程组。 的线性方程组,称为正规方程组 即 3. 解的存在唯一性 ATA是n阶方阵，且是对称阵。 ATA是正定矩阵，必有det(ATA)0。故 的解存在且唯一。可用平方根法或SOR法求解。 当R(A)=n 时，对任意 例1 求超定方程组 的最小二乘解，并求误差平方和。 解 方程组写 成矩阵形式为： 正规方程组为 即 解得 误差平方和为： * 上页 下页 第六章