计算方法第五章曲线拟合的最小二乘法.pdf

第五章第五章 曲线拟合的最小二乘法 §§11 矛盾方程组求解的最小二乘法 §§22 曲线最小二乘拟合 §§33 移动最小二乘近似移动最小二乘近似* 西北工业大学理学院 欧阳洁 1 §§11 矛盾方程组求解的矛盾方程组求解的 最小二乘法最小二乘法 一一 矛盾方程组的定义矛盾方程组的定义 ?a11x1 + a12 x2 +L+ a1m xm = b1 ? ?a21x1 + a22 x2 +L+ a2m xm = b2 设 ? （n m ） ?M ? ?an1x1 + an2 x2 +L+ anm xm = bn m 或写为 ∑ aij x j = bi (i =1,2,L,n) 其矩阵形式为Ax=b。 j=1 当方程组系数矩阵与增广矩阵的秩不相等 时，方程组无解，此时方程组称为矛盾方程组。 对于rankA＝m（A的秩为m）的矛盾方程组 （ ），我们寻求其最小二乘意义下的解。 n m 西北工业大学理学院 欧阳洁 2 二二 矛盾方程组求解的最小二乘法矛盾方程组求解的最小二乘法 11 最小二乘原则最小二乘原则 矛盾方程组的精确解不存在。求解矛盾方程 组的解是指求最小二乘意义下的解。 令偏差（残差） δi = ai1x1 + ai2 x2 +L+ aim xm ? bi m = ∑ aij x j ? bi (i =1, 2,L,n) j=1 n 2 求矛盾方程组的解，即求使偏差的平方和∑δi i=1 最小的一组值x1, x2 ,L, xm 。 求解矛盾方程组，即求一组x1, x2 ,L, xm ，使 n n m 2 2 F(x1, x2 ,L, xm ) = ∑δi = ∑∑( aij x j ? bi ) i=1 i==1 j 1 达到最小值。这一条件称为最小二乘原则最小二乘原则。 符合该条件的x , x , , x 称为矛盾方程组的 最小二乘 解。 1 2 L西北工业大学理学院m 欧阳洁 (最小二乘))解3 按照最小二乘原则选择未知数x1,x2,…,xm的方法 称为求解矛盾方程组的最小二乘法最小二乘法。 由于F(x1, x2 ,L, xm ) 是m个自变量x1,x2,…,xm的 二次函数，故求矛盾方程组的最小二乘解就是求 使函数F(x1,x2,…,xm)达到最小值的点(x1,x2,…,xm) 。 问题：问题：二次函数F(x1,x2,…,xm)是否存在最小值？ 若最小值存在，如何求出使F(x1,x2,…,xm)达到 最小值的点(x1,x2,…,xm) ？ n n m 2 2 F(x1, x2 ,L, xm ) = ∑δi = ∑∑( aij x j ? bi ) 西北工业大学理学院 欧阳洁i=1 i==1 j 1 4 22 最小二乘解的存在唯一性最小二乘解的存在唯一性 定理 设矛盾方程组的系数矩阵的秩为m，则 n n m 2 2 F(x1, x2 ,L, xm ) = ∑δi = ∑∑( aij x j ? bi ) 存在最小值。 i=1 i==1 j 1 F是x1,x2,…,xm的二次连续函数，且有连续的 一阶及二阶偏导数。由 m m 2 2 F(