最小二乘法97668.pdf

最小二乘法 最小二乘法起源于以测量和观测为基础的天文学。Gauss 在 1794 年利用最小 二乘法解决了多余观测问题，当时他只有十七岁。可以用下面的简单例子描述这 类问题。 假定通过观测或实验得到如下一组数据 （即列表函数）： k 1 2 3 4 5 6 7 8 xk 0 1 2 3 4 5 6 7 yk 1.4 1.3 1.4 1.1 1.3 1.8 1.6 2.3 我们的目的是一简单的式子表出这些数据间的关系。从分析数据看出，这些点差 不多分布在一条直线上，因此我们自然想到用线性式y = ax + b 表示它们之间的 a 关系。这就须定出参数 和b 的值来。这实际上是多余观测问题，用插值法不能 a 确定出 和b 的值。代定参数的确定归结为矛盾方程组的求解问题。 a x 假定有某方法可以定出 和b ，则按y = a + bx ，给出一个 便可以算出一个 y 。我们记 yk = a +bx (k = 1, L,8). y 称为y 的估计值，显然它们不会是完全相同的，它们之间的差 （通常称为残 k k 差） e = y -y (k = 1, L,8) k k k a 无疑是衡量被确定的参数 和b （也就是近似多项式y = ax + b ）好坏的重要标志。 可以规定许多原则来确定参数 。例如 a,b （1） 参数的确定，将使残差绝对值中最大的一个达到最小，即 T = e 为最小； max k k （2） 参数的确定，将使残差绝对值之和达到最小，即 e 为最小； å k k （3） 参数的确定，将使残差的平方和达到最小，即 e 2 为最小。 å k （1） 和 （2）两个原则是很直观的，也很理想，但很不好用；而原则 （3） 既直观又很好用。按原则 （3）确定待定参数，从而得到近似多项式的方法，就 是通常所说的最小二乘法。这一方法的理论根据是，概率理论已证明，只有这样 的原则才能使得观测或实验的偶然误差对于所作的近似多项式有最小的影响。 回到所提出的问题上来，即用最小二乘法确定参数 。按最小二乘法，应 a,b 使 s S(a,b) = å(y - (a +b ))2 i