最小二乘法的基本原理和多项式拟合.docxVIP

最小二乘法的基本原理和多项式拟合

—最小二乘法的基本原理

i i从整体上考虑近似函数p(x)同所给数据点(x,y)

i i

r?p(x

i i

)?y

i

(i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差

r?p(x)?y

maxr

(i=0,1,…,m)绝对值的最大值

，即误差向量

i i i

0?i?m i

?m r

r?(r,r, r

)T的∞—范数；二是误差绝对值的和

i，即误差向量r的1—

0 1 m

?mr2

i?0

范数；三是误差平方和

i

i?0

的算术平方根，即误差向量r的2—范数；前两种

方法简单、自然，但不便于微分运算，后一种方法相当于考虑2—范数的平方，

因此在曲线拟合中常采用误差平方和体大小。

?m

i?0

r2

ii 来度量误差r

i

(i=0，1，…，m)的整

i i数据拟合的具体作法是：对给定数据(x,y)

i i

i数类?中,求p(x)??,使误差r

i

?p(x

i

)?y

i

(i=0,1,…,m)的平方和最小，即

?mr2

?m?p(x)?y?2?min

i i

i?0

i =i?0

i i从几何意义上讲，就是寻求与给定点(x,y)(i=0,1,…,m)的距离平方和为最小的曲线y?p(x)（图6-1）。函数p(x)称为拟合函数或最小二乘解，求拟合函数p(x)

i i

在曲线拟合中，函数类?可有不同的选取方法.

6—1

二多项式拟合

i i假设给定数据点(x,y)(i=0,1,…,m)，?为所有次数不超过n(n?m)

i i

成的函数类，现求一

p(x)??n

n

k?0

axk??

k

,使得

??m?

? ?m

??n ?2

I

i?0

p(x

n i

)?y

i

2?

i?0

?

?k?0

axk?y

k i

? ?min

i? (1)

n当拟合函数为多项式时，称为多项式拟合，满足式（1）的p(x)称为最小二乘拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。

n

显然

I??m

(?n

axk?y)2

k i i

为a0

,a,?a

1 n

i?0 k?0

0的多元函数，因此上述问题即为求I?I(a

0

,a,?a

1 n

)的极值问题。

由多元函数求极值的必要条件，得

?I?a?2?m

?I

?a

axk?y

k i i

)xj?0, j?0,1,?,n

i

(2)

j i?0 k?0

即

?n(?m

xj?k)ai k

??m

xjy,

i i

j?0,1,?,n

(3)

k?0 i?0 i?0

0（3）是关于a

0

,a,?a

1 n

的线性方程组，用矩阵表示为

?

m?1

?mx ? mxn?

??my ?

?? ?

?

??i i ?a??i

?

?

? i?0 i?0

? 0 ? i?0 ?

??mx ?mx2 ? ?m

xn?1??a? ??m

xy?

? i i

i ??

1???

i i?

??i?0?

?

i?0?

i?0? ????

?i?0? ?

??mxn

?mxn?1

? ?m

x2n

??a?

???? n

?

?

?

??m

?

?xny?

?

???i

?

i?0

i i ?

i?0 i?0

??i

i?0

i?? (4)

?式（3）或式（4）称为正规方程组或法方程组。

?

k可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式（4）中解出a(k=0,1,…，n)，从而可得多项式

k

p(x)??n

n

k?0

axk

k

(5)

n n可以证明，式（5）中的p(x)满足式（1），即p(x)

n n

?m

们把i?0

?p(x

nn i

n

)?y?2

i

称为最小二乘拟合多项式p

(x)的平方误差，记作

由式(2)可得

r2??m

2

i?0

?p(x

n i

)?y?2

i

r2??m

2

y2??n

i

a(?m

k

xky)

i i

(6)

i?0 k?0 i?0