最小二乘法原理和算例专家讲座.pptxVIP

线性最小二线乘问题存在与唯一;实例讲解;数据表格;;;计算出它正规方程得

解得：a=0.15,b=0.859

直线方程为：y*=0.15+0.859x

;一问题提出

插值法是使用插值多项式来迫近未知或复杂函数，它要求插值函

数与被插函数在插值节点上函数值相同，而在其它点上没有要求。在非

插值节点上有时函数值会相差很大。若要求在被插函数定义区间上，

所选近似函数都能与被插函数有很好近似，就是最正确迫近问题。

最正确迫近是在函数空间M中选P(x)满足

但因为绝对值函数不宜进行分析运算,常将上式化为

来讨论，于是最正确迫近问题变为最正确平方迫近问题,而离散最正确平方逼

进问题就是常说曲线拟合

它们都可用最小二乘法求解。

;曲线拟合最小二乘法;?最小二乘法求法;;?最小二乘法几个特例;;例题;;二线性最小问题存在与唯一;2最小二乘解存在性与唯一性

定理：x*为Ax=b最小二乘解充要条件

ATAX*=ATb

证实：充分性：若存在X*，使ATAX*=ATb则对任意向量

令x?=x*+y有

??b–Ax??22=??b–AX*??22–2（y，AT（b–AX*））+??Ay??22

=??b–AX*??22+??Ay??22???b–AX*??22

?X*为Ax=b最小二乘解。

必要性：令??b–AX??22=?（x1，x2，?，xn）=?（x）

则由多元函数极值必要条件知，若X*为极值点，则

??（x）|

——|=0

?xi|x=x*

;而?（x1，x2，?，xn）=bTb–2Ax+（Ax）TAx

??（x）

由——=0（i=1，2，?n）ATAx=ATb。

?xi

?若x*为Ax=b最小二乘解，则ATAx*=ATb。证毕

ATAx=ATb称为最小二乘问题Ax=b法方程组。当A=（aIj）m?n秩为n，既A列线性无关时，ATAx=ATb有唯一解。

;三线形模型正规方程;n

设离散数据模型?（x）=?cj?j（x）

j=0

则求解归结为n+1元函数S极值问题:

mn

S（c0，c1，…，cn）=??i[yiˉ?cj?j（xi）]2

i=0j=0

显然S达最小值必要条件是

?Smn

—=2??i[yiˉ?cj?j（xi）]?k（xi）=0

?Cki=0j=0（k=0，1，…，n）

这是关于c0，c1，…，cn方程组，

n

改写成?（?j，?k)cj=(y,?k)(k=0,1,2,…n)称为正规方程组

j=0

其中

mn

（?j，?k)=???i?j（xi）?k（xi）

i=0j=0;普通，nm，函数?0，?1，…，?n，线性无关能确保

正规方程组系数矩阵

?（?0，?0）（?1，?0）…，（?n，?0）?