(完整word版)最小二乘法及其应用...docVIP

最小二乘法及其应用 1. 引言 最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家和测 地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最 小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百 科全书第7版,亦收入有关方法的介绍。同时，误差的分布是“正态”的，也 立刻得到天文学家的关注及大量经验的支持。 如贝塞尔(F. W. Bessel, 1784 —1846)对几百颗星球作了三组观测，并比较了按照正态规律在给定范围内 的理论误差值和实际值，对比表明它们非常接近一致。拉普拉斯在1810年也 给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作 为一种统计模型，在19世纪极为流行，一些学者甚至把19世纪的数理统计学 称为正态分布的统治时代。在其影响下，最小二乘法也脱出测量数据意义之 外而发展成为一个包罗极大，应用及其广泛的统计模型。到20世纪正态小样 本理论充分发展后，高斯研究成果的影响更加显著。最小二乘法不仅是19世 纪最重要的统计方法，而且还可以称为数理统计学之灵魂。相关回归分析、 方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论 基础。正如美国统计学家斯蒂格勒(S. M. Stigler) 所说，“最小二乘法之 于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方 法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数b0, b1,使得全部观测的残差平方和最小 用数学公式表示为： 2 八2 2 min u — (Yi - Y)2 一 (Yj - b0 - b^ )2 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为 例. 由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即: Y 二 bo b)Xi ei (i 二 1,2...n) 从上面的公式可以看出：残差ei是Yi的真实值与估计值之差，估计总体 回归函数最优方法是，选择Bo,Bi的估计量bo,bi，使得残差ei尽可能的小. 总之，最小二乘原理就是选择样本回归函数使得所有 丫的估计值与真实 值差的平方和为最小，这种确定bo,bi的方法叫做最小二乘法。 最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线 性回归方程和非线性回归方程。 2.1线性回归最小二乘法 最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法 . 在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数 (即真实 总体回归函数的估计值)，但是在回归分析中最广泛应用的方法是最小二乘 法. 如果变量x和y有精确的线性关系比如说 y =ax • b ,那么yi二yi即观测 值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此， 由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系 .比 如说人的身高和体重就是一个对应， 我们都知道长的高的人不一定就重， 同 理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系 ，而这种 关系并非是y =ax b所能确定的.那么我们要寻求身高和体重之间的关系 就需要通过数学的方法.首先调查统计得出数据；其次把数据描绘出来；然后 拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间 的关系表示出来.在处理类似的事情中常常用到最小二乘法. 2.2非线性回归最小二乘法 非线性回归的种类很多，常用的有抛物线方程（Y=a・bX cX2）、指 数方程（Y =abx）等。 设已知列表函数yi =f（xj（i =0,1，…,m），并且我们想用一个通常的 n（ ：：： m）次多项式 Pn X 二 ao yx ... anXn （ 1） 去近似它。问题是应该如何选择 a0，印，…，an使pn x能较好地近似列表函 数f x。按最小二乘法，应该选择ao，ai,..., an使得 m 2 S a。，ai,..., an 八 f X - pn x i =0 取最小。注意到S是非负的，且是ao, ai，...，an的2次多项式，它必有最小值。 求S对ao, ai,..., an的偏导数，并令其等于零，得到 m ■- 〔 ％ - a。- a/i -... - anxj xj = 0 (k = 0,1,..., n) i £ 进一步，可以将它们写成 m mm m 二 /Xi1二a0二 xik - ar^ x^k 1 ... an二 x^k n (k = 0,1,n. =o 引进记号 i =o i =0 i =0 m m Sk =送 Xik和Uk =送 yiXik in in 则上述方程组为 rs)a0 + sa 打lt+Snan = u , ° s^o + s