最小二乘法探究.docxVIP

最小二乘法探究前言最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法（Least squares）又称最小平方法，一元线性回归法，是一种数学优化技术，用于建立经验公式，利用它可以把生产或实验中所积累的某些经验提高到理论上加以分析。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合,是我们在建模竞赛中常用的一种手段。一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法发源于天体物理学，并广泛应用于其他各个学科。最小二乘法对于统计学具有十分重要的意义。相关回归分析，方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础，正如美国统计学家斯蒂格勒（S.M,Stigler）所说，“最小二乘法之于数理统计学犹如微积分之于数学”。故对最小二乘法做一番探究进而理解并掌握这一思想是十分有必要的。原理在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。根据教材中的描述（两个变量间的函数关系），其基本原理为：根据已知的自变量与因变量数据做出散点图，进而观察判定出两者间的函数关系，本次探讨以一次函数关系为例，其他类型的函数关系也可通过两边取对数等方法转化为一次函数形式进行求解。认定是线性函数： a,b即为待求的常数。对于求的函数，我们希望它可以尽可能多的拟合到已知的数据点，或者说尽可能的靠近。转化为量化形式即为使偏差 都很小，对此经过综合分析我们用最小来保证每个偏差的绝对值都很小，即根据偏差的平方和为最小的条件来确定常数a,b。然后运用多远函数的极值求法知识来求解求的极小值，具体步骤为： (1)然后再列表计算，代入方程组（1），即可求出a,b。证明最小二乘法的本质是最小化系数矩阵所张成的向量空间到观测向量的欧式误差距离，故本次探究选择从欧式空间来证明最小二乘法：为便于讨论以及深入理解该问题，我们从一般的最小二乘法问题入手证明。 实系数线性方程：据经验，方程组很有可能无解，所以我们退而求其次，对于式，我们设法找实数组（方程组的最小二乘解），使M最小即可，并不强求其一定要为零。到此，已整理出了一般最小二乘法问题求解的形式，下面据此利用欧式空间的概念来表达最小二乘法，并给出最小二乘法所满足的代数条件: 令A= B= X= Y==AX用距离的概念，。最小二乘法就是找，使Y与B的距离最短，但从M式知向量Y就是 把A的各列向量分别记为。由他们生成的子空间为,Y就是中的向量。于是最小二乘法问题可叙述成：找X使M最小，就是在中找一向量Y，使得B它的距离比到子空间中其它向量的距离都短。 应用前面所讲的结论，设是所要求的向量，则C=B-Y=B-AX必须垂直于子空间。为此只需而且必须，根据矩阵乘法规则，上述一串等式可以写成矩阵相乘的形式，即：,而,按行正好排列成，上述一串等式结合起来就是或,这就是最小二乘所满足的代数方程，它是一个线性方程组，系数矩阵是,常数项是。3．高斯与最小二乘法 1809年，高斯发表《天体运动理论》。在该书的末尾，他写了一节关于”数据结合“的问题，以极其简单的手法导出误差分布，并用最小二乘加以验证。关于最小二乘法，高斯宣称自1795年以来他一直使用这个定理。这立刻引起了勒让德的强烈反击，他提醒说科学发现的优先权只能以出版物确定（最小二乘法最早出现在勒让德1805年发表的论著《计算彗星轨道的新方法》附录中），并严斥高斯剽窃了他人的发明。这两位数学家之间持续多年的关于优先权的争论，在数学史上的知名度仅次于牛顿和莱布尼兹之间关于微积分发明权的争论。现在一般认为，二人之间各自独立地发明了最小二乘法。尽管是高斯早十年使用了这个原理，但第一个用文字发表的是勒让德。 高斯是“能以九霄云外的高度按照某种观点掌握星空和深奥数学的天才“。的确，相比而言高斯不愧为数学王子，他把最小二乘法推进的更远，更深刻，进而极大地推进了数理统计的发展。故本次探究以分析研究高斯的推导研究为主，他是由误差函数推导出这个方法并详尽阐述了最小二乘法的理论依据。其推导过程如下： 设误差密度函数为f(x),真值为x ,为n个独立测定值，因为观测是相互独立的，因而这些误差出现的概率为：。要找出最有希望的误差函数应使达到极大，高斯认为就是x的估计值，并使取得极大值。对上式两端取对数得：求导得：= ,记 则有 求对的偏导数: ,而,则有,则对于任意i有= ,即可得 ,以及 ,因,可推导的b=0,则有 积分可得 ,由 ,则应有c0 ,取 可得 ,则有 此即正态分布。这样可知误差密度函数为 ,要使此时达到极大值，选取而使达到极小值。于是可得最小二乘法估计。 由以上推证过程可知，高