最小二乘法63528.doc

最小二乘法 最小二乘法起源于以测量和观测为基础的天文学。Gauss在1794年利用最小二乘法解决了多余观测问题，当时他只有十七岁。可以用下面的简单例子描述这类问题。 假定通过观测或实验得到如下一组数据（即列表函数）： 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 1.4 1.3 1.4 1.1 1.3 1.8 1.6 2.3 我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出，这些点差不多分布在一条直线上，因此我们自然想到用线性式表示它们之间的关系。这就须定出参数和的值来。这实际上是多余观测问题，用插值法不能确定出和的值。代定参数的确定归结为矛盾方程组的求解问题。 假定有某方法可以定出和，则按，给出一个便可以算出一个。我们记 称为的估计值，显然它们不会是完全相同的，它们之间的差（通常称为残差） 无疑是衡量被确定的参数和（也就是近似多项式）好坏的重要标志。 可以规定许多原则来确定参数。例如 参数的确定，将使残差绝对值中最大的一个达到最小，即 为最小； 参数的确定，将使残差绝对值之和达到最小，即为最小； 参数的确定，将使残差的平方和达到最小，即为最小。 和（2）两个原则是很直观的，也很理想，但很不好用；而原则（3）既直观又很好用。按原则（3）确定待定参数，从而得到近似多项式的方法，就是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。 回到所提出的问题上来，即用最小二乘法确定参数。按最小二乘法，应使 取最小值。因此，应有 由此，得到如下线性方程组： 经过简单计算，这个方程组成为 解之可得从而得近似多项式 现在转入讨论更为一般的情形。设已知列表函数并且我们想用一个通常的次多项式 （1.1） 去近似它。问题是应该如何选择使能较好地近似列表函数。按最小二乘法，应该选择使得 取最小。注意到S是非负的，且是的2次多项式，它必有最小值。求S对的偏导数，并令其等于零，得到 进一步，可以将它们写成 引进记号 和 则上述方程组为 (1.3) 它的系数行列式是 由的定义及行列式性质，可以断言 (1.4) 此处符号W表Vandermonde行列式，而是对所有可能的求和（每个可以取值并且当时）。 由（1.4）式及Vandermonde行列式的性质可知，当互异时， 从而，方程组有唯一解且它们使取极小值.如此，我们应用最小二乘法找到了的近似多项式. 在利用最小二乘法组成和式时，所有点都起到了同样的作用，但是有时依据某种理由认为中的某些项的作用大些，而另外一些作用小些（例如，一些是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较大的信任），这在数学上表现为用和 替代和取最小值.且通常称之为权；而为加权和. 例1 设已知函数的表列值为 0.2 0.5 0.7 0.85 1 1.221 1.649 2.014 2.340 2.718 试按最小二乘法构造的二次近似多项式. 解 经过简单计算可得关于参数,和的方程组（参阅下面的第一个表）： 5+3.250+2.503=9.942 3.250+2.503+2.090=7.185 2.503+2.090+1.826=5.857 解之，得 =0.928, =0.751, =1.036.故 =0.928+0.751+1.036. 1 1 1 1 1 0.2 0.5 0.7 0.85 1 0.04 0.25 0.49 0.723 1 0.008 0.125 0.343 0.614 1 0.002 0.063 0.240 0.522 1 1.221 1.649 2.014 2.340 2.718 0.244 0.824 1.410 1.989 2.718 0.049 0.412