数值计算方法课件-CH3 插值法与最小二乘法—3.7 数据拟合的最小二乘法.pptVIP

华长生制作 * 第三章 插值法与 最小二乘法 苏 丽 自动化学院 3.7 数据拟合的最小二乘法 在科学实验中，往往要从一组实验数据 中，寻找自变量x与因变量y之间的函数关系y=f(x),但给出的观测数据本身不一定完全可靠，个别数据的误差甚至可能很大，如果用插值法求函数关系近似表达式，曲线通过所有节点会使曲线保留所有测量误差的影响，这是我们不希望的. 实例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录: §3.7 数据拟合的最小二乘法 可见:纤维强度随拉伸倍数增加而增加,并且24个点大致分布在一条直线附近. 因此可以认为强度S 与拉伸倍数t 的关系近似满足线性关系 数据拟合法是函数逼近的另一种方法.它与插值法不同，它不要求曲线完全通过所有已知的节点，而是从给出的一大堆数据中找出规律，即设法构造一条曲线反映数据点的总的趋势，以消除其局部波动。这在一定条件下比插值法更能反映客观实际.数据有误差往往是难免的，数据拟合法是从总偏差最小的角度来取近似曲线. 根据上述实例图中测试点的分布情况,可以画出很多条靠近这些点的直线,其方程都可表示为： 一、最小二乘法的基本概念 (1) (2) 其中: a, b 待定.要从形如(1)式的所有直线中,找出一条用某种度量标准来衡量最靠近所有数据点 的直线. 若 a, b 给定,计算值 S(ti) 与测量数据 si 之差为: 称之为误差, 其大小依赖于 a, b 的选取. (3) 注:(1)式是一条直线，但现实生活中的函数关系并不都是线性关系，因此下面将问题推广到一般情况. 一般使用误差的加权平方和 用ωi 表示测量数据 (ti, si) 的重度,称为权系数,表示在不同点 (ti, si) 处的数据比重不同. 作为衡量 S(t) 与数据点 (ti, si) (i = 0,1,…,m)偏离大小的度量标准. 使 最小的 S(t) 最接近 ,以此为依据可确定(1)式中的待定系数 a, b. 问:如何衡量直线与数据点偏离程度? (4) (5) (6) 最小二乘解 定义: 设 为给定一组数据, 为各点的权系数 ,要求在函数类 中,求一函数 使误差的加权平方和最小,即 最小平方误差 其中： 为Φ中任意函数，称为拟合函数. 称按条件(6)求函数 S*(x) 的方法为数据拟合的最小二乘法,简称最小二乘法. 数据点数-1 基底个数-1 已知 求 条件 拟合条件 构造 问：确定拟合函数 S(x) 后,如何求拟合系数 ,使得 满足拟合条件(6)？ 二、法方程组 由 可知 为拟合系数 的函数.因此,可设平方误差为: 由多元函数取极值的必要条件 得： 移项整理得： 转化 求最小二乘解 的问题 取极小值 的问题 (7) 交换求和号顺序得： 即 显然(7)式是一个关于 的n+1阶线性方程组. 定义向量： 定义内积： (9) 方程组(7)便可化为: (10) (8) 这是一个系数为 ,常数项为 的线性方程组.将其表示为矩阵形式： (11) 称为函数系 在离散点 的法方程组.并且其系数矩阵为对称阵. 坡度矩阵,Hilbert矩阵 由于 为函数类Φ的基,因此它们必然线性无关,所以法方程组的系数矩阵非奇异,即 根据Cramer法则,法方程组有唯一解： 即 的最小值. 是 可以证明, 所对应的 是最小二乘解(证明见109页). 为均方差. 称 为最小二乘解 的平方误差. 可以证明: 例1. 求拟合下列数据的最小二乘解 6.5 1.2 6 4.0 0.8 4 2.8 0.4 2 0.9 0.0 0 5.7 1.0 5 1.9 0.2 1 3.3 0.6 3 i (12) 平方误差的内积表示形式: 故有 解： 1)在坐标平面上描点（参见教材P111） 从散点图可以看出函数关系近似线性关系，所以选择线性函数： 其基底为 3)建立法方程组 根据内积公式: 计算下列各值： 取 作为拟合函数, 2)根据散点的分布情况，选择基底 （难点） 得法方程组： 4)解法方程组,求拟合函数系数 因此, 为所有的最小二乘解. 5)求拟合误差 求得线性函数两系数: 最