第三章最小二乘.pptVIP

3.1 问题的提出 函数解析式未知,通过实验观测得到的一组数据, 即在某个区间[a, b]上给出一系列点的函数值 yi= f(xi) 或者给出函数表; 3.2. 曲线拟合的最小二乘法 如果已知函数f(x)在若干点xi(i=1,2,…,n)处 的值yi,便可根据插值原理来建立插值多项式作为f(x)的近似。但在科学实验和生产实践中，往往会遇到这样一种情况，即节点上的函数值并不是很精确的，这些函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点(xi,yi),就会使曲线保留着一??测试误差。当个别数据的误差较大时,插值效果显然是不理想的。此外,由实验或观测提供的数据个数往往很多,如果用插值法,势必得到次数较高的插值多项式，这样计算起来很烦琐。;为此,我们希望从给定的数据(xi,yi)出发,构造一个近似函数 ,不要求函数 完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势，如图3.1所示。 ; 与函数插值问题不同,曲线拟合不要求曲线通过所有已知点,而是要求得到的近似函数能反映数据的基本关系。在某种意义上,曲线拟合更有实用价值。 在对给出的实验(或观测)数据 作曲线拟合时,怎样才算拟合得最好呢？一般希望各实验(或观测)数据与拟合曲线的偏差的平方和最小,这就是最小二乘原理。 两种逼近概念: 插值: 在节点处函数值相同. 拟合: 在数据点处误差平方和最小; 函数插值是插值函数P(x)与被插函数f(x)在节点 处函数值相同,即 而曲线 拟合函数 不要求严格地通过所有数据点 ,也 就是说拟合函数 在xi处的偏差(亦称残差） 不都严格地等于零。但是,为了使近似曲线能尽量反 映所给数据点的变化趋势,要求 按某种度量标准 最小。若记向量 ,即要求向量 的 某种范数 最小,如 的1-范数 或∞-范数 即 ;或 ;??? （1）直线拟合 设已知数据点 ,分布大致为一条直线。作拟合直线 ,该直线不是通过所有的数据点 ,而是使偏差平方和;即得如下正规方程组 ;;解得 ;（2）多项式拟合 有时所给数据点的分布并不一定近似地呈一条直 线,这时仍用直线拟合显然是不合适的,可用多项式拟合。对于给定的一组数据 寻求次数不超过n (nm ) 的多项式， ;由于Q可以看作是关于 ( j=0,1,2,…, n)的多元函数, 故上述拟合多项式的构造问题可归结为多元函数的极值问题。令;这是关于系数 的线性方程组，通常称为正规方 程组。可以证明，正规方程组有惟一解。 ;解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为 ;（3）一般曲线拟合的 最小二乘法的求法;（4）可化为线性拟合的非线性拟合 有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理，对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点的分布同哪类曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。 表3-4列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系 ;表3-4;几种常见的数据拟合情况。图 ( a ) 表示数据接近于 直线，故宜采用线性函数 拟合；图(b)数 据分布接近于抛物线。可采拟合；二次多项式 ;图 ( c ) 的数据分布特点是开始曲线上升较快随后逐 渐变慢,宜采用双曲线型函数 或指数型函 数 图 ( d ) 的数据分布特点是开始曲线下降快,随后逐渐变慢,宜采用 或 或 等数据拟合。;例3.13 设某实验数据如下: 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3;则正规方程组为 ;由 得; （5）超定方程组的最小二乘解 设线性方程组Ax=b中， ,b是m维已知向量，x是n维解向量，当m＞n，即方程组中方程的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时为矛盾方程组),这时需