2014最小二乘法的拟合.docVIP

一、最小二乘法与最小一乘法 1.什么时候用最小二乘法 在研究两个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后，就可以使用最小二乘法估计模型中的参数，进而建立经验方程. 例如，在现实世界中，这样的情形大量存在着：两个变量X和Y（比如身高和体重）彼此有一些依赖关系，由X可以部分地决定Y的值，但这种关系又是不确定的.人们常常借助统计学中的回归模型来寻找两个变量之间的关系，而模型的建立当然是依据观测数据.首先通过试验或调查获得x和Y的一组对应关系(x1，Y1)，(x2，Y2)，…，(xn，Yn)，然后回答下列5个问题： 1. 这两个变量是否有关系？(画出散点图，作直观判断) 2. 这些关系是否可以近似用函数模型来描述？（利用散点图、已积累的函数曲线形状的知识和试验数据，选择适当的回归模型，如一元线性模型y=b0＋b1x，二次函数模型y=b0＋b1x＋b2x2等） 3. 建立回归模型. 4. 对模型中的参数进行估计，最小二乘法是这些参数的一种常用估计方法. 5. 讨论模型的拟合效果. 在上述第3步中，设所建立的回归模型的一般形式是，其中Y称为响应变量，x称为解释变量或协变量；是一个由参数决定的回归函数；是一个不可观测的随机误差.为了通过试验数据来估计参数的值，可以采用许多统计方法，而最小二乘法是目前最常用、最基本的.由的估计值决定的方程称为经验回归方程或经验方程. 教科书中涉及的回归模型是最简单的一元线性模型 Y=b0+b1x+， 此时模型的拟合效果可以通过Pearson相关系数 来描述。事实上，在线性回归模型中可以证明相关指数等于相关系数的平方. 2.什么是最小二乘法思想 简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小. 例如，对于回归模型 ， 若，…，为收集到的观测数据，则应该用来估计，这里是的估计值。这样点的估计就是，它们之间距离的平方就是 ， 进而最小二乘估计量就是使得(*) 达到最小值的参数.特别当各个和相应的估计值相等，即时，最小二乘估计量就是使得(**) 达到最小值的参数.如果我们能够在固定解释变量值的前提下观测预报变量，就认为解释变量的观测值和估计值相等，从而可以通过(**)式求最小二乘估计.在实际应用中，人们常忽略“各个和相应的估计值相等”的条件，而把(**)式的最小值点称为参数的最小二乘估计量，其原因有二：其一是不知道最小二乘方法的原理；或是找不到估计量的合理数学表达式，也就无法通过(*)式求最小二乘估计量，只好用(**)式的最小值点作为参数的估计. 在教科书中，已知(x1，y1)，(x2，y2)，…，(xn，yn)是变量X和Y的一组观测数据，要估计的是回归直线方程y=b0＋b1x中参数b0，b1的值。所以这时目标函数为 于是这时的最小二乘法就是寻求b0，b1的值，使在各点处的偏差yi－(b0＋b1xi)（i=1，2，…，n）的平方和达到最小.在这种情形中，有意思的事情是：估计得到的直线=b0＋b1x一定经过观测数据点的中心(，)（，）. 进一步，若观测数据全部落在某一直线上，则这个直线方程的截距和斜率必是模型参数的最小二乘估计量.因此最小二乘法还为我们提供了一种求解方程组的方法. 关于最小二乘估计的计算，涉及更多的数学知识，这里不想详述.其一般的过程是用目标函数对各bi求偏导数，并令其等于0，得到一个线性方程组.高斯当年将其命名为正则方程，并创设了解线性方程组的消元法——高斯消元法. 从计算的角度看，最小二乘法与插值法类似，都是处理数据的算法.但从创设的思想看，二者却有本质的不同.前者寻求一条曲线，使其与观测数据“最接近”，目的是代表观测数据的趋势；后者则是使曲线严格通过给定的观测数据，其目的是通过来自函数模型的数据来近似刻画该函数.在观测数据带有测量误差的情况下，就会使得这些观测数据偏离函数曲线，结果使得与观测数据保持一致的插值法不如最小二乘法得到的曲线更符合客观实际. 最小二乘法能在统计学中得到应用，也是因为测量误差的存在。事实上，在高斯等人创立了测量误差理论，对最小二乘法进行了误差分析之后，这种方法才在统计界获得了合法地位，正式成为了一种统计方法. 3.关于最小一乘法 将上述最小二乘法的一般形式改为 目标函数=， 就是最小一乘法。最小一乘法诞生在1760年，比最小二乘法还要早40多年.但是由于当时无法解决的计算问题，最小一乘法在此后的百余年中都没有获得长足的发展.直到1950年，发现了用线性规划求解的方法以及电子计算机的使用，才解决了计算难题.如今，统计理论的发展使最小一乘法在某