最小二乘法回归曲线.docVIP

在现实中经常遇到这样的问题，一个函数并不是以某个数学表达式的形式给出，而是以一些自变量与因变量的对应表给出，老师讲课的时候举的个例子是犯罪人的身 高和留下的脚印长，可以测出一些人的数据然后得到一张表，它反应的是一个函数，回归的意思就是将它还原成数学表达式，这个式子也称为经验表达式，之所以叫 经验就是说它不完全是实际中的那样准确，是有一定偏差的，只是偏差很小罢了。最小二乘法设经验方程是y=F(x)，方程中含有一些待定系数an，给出真实值{(xi,yi)|i=1,2,...n},将这些x,y值代入方程然后作差，可以描 述误差：yi-F(xi)，为了考虑整体的误差，可以取平方和，之所以要平方是考虑到误差可正可负直接相加可以相互抵消，所以记误差为：e=∑(yi-F(xi))^2它是一个多元函数，有an共n个未知量，现在要求的是最小值。所以必然满足对各变量的偏导等于0，于是得到n个方程：de/da1=0de/da2=0...de/dan=0n个方程确定n个未知量为常量是理论上可以解出来的。用这种误差分析的方法进行回归方程的方法就是最小二乘法。线性回归如果经验方程是线性的，形如y=ax+b，就是线性回归。按上面的分析，误差函数为：e=∑(yi-axi-b)^2各偏导为：de/da=2∑(yi-axi-b)xi=0de/db=-2∑(yi-axi-b)=0于是得到关于a,b的线性方程组：(∑xi^2)a+(∑xi)b=∑yixi(∑xi)a+nb=∑yi设A=∑xi^2,B=∑xi,C=∑yixi,D=∑yi，则方程化为：Aa+Bb=CBa+nb=D解出a,b得：a=(Cn-BD)/(An-BB)b=(AD-CB)/(An-BB)C++程序：#include#includevoid main(){??? double x,y,A=0.0,B=0.0,C=0.0,D=0.0,delta;??? int n;??? cinn;??? for(int i=0;in;++i)??? {?????? cinxy;?????? A+=x*x;?????? B+=x;?????? C+=x*y;?????? D+=y;??? }??? delta=A*n-B*B;??? if(fabs(delta)1e-10)??? {?????? cerrError!Divide by zeroendl;??? }??? else??? {?????? couta=((C*n-B*D)/delta)endl????????????? b=((A*D-C*D)/delta)endl;??? }} 　　最小二乘法公式 　　∑(X--X平)(Y--Y平) 　　=∑(XY--X平Y--XY平+X平Y平) 　　=∑XY--X平∑Y--Y平∑X+nX平Y平 　　=∑XY--nX平Y平--nX平Y平+nX平Y平 　　=∑XY--nX平Y平 　　∑(X --X平)^2 　　=∑(X^2--2XX平+X平^2) 　　=∑X^2--2nX平^2+nX平^2 　　=∑X^2--nX平^2 　　最小二乘法 　　在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 　　Y计= a0 + a1 X (式1-1) 　　其中：a0、a1 是任意实数 　　为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)2〕最小为“优化判据”。 　　令: φ = ∑(Yi - Y计)2 (式1-2) 　　把(式1-1)代入(式1-2)中得: 　　φ = ∑(Yi - a0 - a1 Xi)2 (式1-3) 　　当∑(Yi-Y计)平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。 　　(式1-4) 　　(式1-5) 　　亦即： 　　m a0 + (∑Xi ) a1 = ∑Yi (式1-6) 　　(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 　　得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出： 　　a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) 　　a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9)