第7章 曲线拟合最小二乘法.pptVIP

Ch.7 离散数据的曲线拟合 引言 曲线拟合问题 * 仍然是已知 x1 … xm ; y1 … ym, 求一个简单易算的近似函数 P (x) 来拟合这些数据。 但是 ① m 很大； ② yi 本身是测量值，不准确，即 yi ? f (xi) 这时没必要取 P (xi) = yi , 而要使 ?i=P (xi) ? yi 总体上 尽可能地小。 这种构造近似函数 的方法称为曲线拟合，P (x) 称为拟合函数 称为“残差” 常见做法： 使 最小 较复杂， 使 最小 不可导，求解困难 使 最小 “使 ?i =P (xi) ? yi 尽可能地小”有不同的准则 一 最小二乘法求解矛盾方程组 设线性方程组 或 (1) 当线性方程组(1)的系数矩阵和增广矩阵的秩不相等时, 方程组无解, 这时称方程组为矛盾方程组. 引理1: 设 n 元实函数 在点 的某个邻域内连续, 且有一阶连续偏导数, 若 (1) 其中 (2) 矩阵 引理2: 设非齐次线性方程组(1) 的系数矩阵 A: r ( A ) = n , 则 是正定(负定) 矩阵. 则 是 n 元函数 的极小(极大) 值. 矩阵 是对称正定矩阵; n阶线性方程组 有唯一解. 矛盾方程组在某种意义下的解: 证: (1) 显然 是对称矩阵 因为 r (A)=n , 所以Ax=0有唯一零解, 故 有 于是 , 因此 是正定矩阵. 因为 是正定矩阵, 所以 . 故 有唯一解 说明: 引理2 说明在r (A)=n的条件下, 无论方程组(1)是否有解, n阶方程组 都有唯一解. 由于矛盾方程组(1)的精确解不存在, 故转化为寻求某种意义下的解. 令 称 为偏差 工程中许多问题归结为偏差平方和 Th1. 设矛盾方程组(1)的系数矩阵 A的秩为n , 则二次函数 达到最小, 这一条件称为最小二乘原则. 按最小二乘原则选择未知数 的一组取值的方法称为求解矛盾方程组的最小二乘法. 符合条件的 的一组取值称为矛盾方程组的最小二乘解. 将Q看作关于 的n 元二次函数, 记为 求(1)的最小二乘解就是求该二次函数的最小值点. 证: Q为 的二次函数, 且有连续的1、2阶偏导数. 必存在最小值, 且方程组 的解就是其最小值点. 令 即 由引理 2 知 有唯一解, 设为 记 , 二元函数 Q 存在 P0 , 使得 故满足引理1的条件 (1) . 又 说明: Th1说明只要矛盾方程组(1)的系数矩阵 A的秩为n , 则 由引理 2 知 M 正定, 故满足引理 1 的条件 (2) , 所以Q 存在极小值. 又方程组 有唯一解, 所以Q 的极小值即为最小值. 方程组 的解就是最小值点. 线性方程组 称为正则方程组 矛盾方程组(1)的最小二乘解存在; 正则方程组有唯一解, 此解就是矛盾方程组 (1) 的最小二乘解. 例1: 求下列矛盾方程组的最小二乘解 解: 因为r (A)=3, 所以最小二乘解存在. 正则方程组为: 二 线性模型和最小二乘拟合 De f：对于已知的 m +1 对离散数据 ， 记 在连续函数空间C [a ,