最小二乘问题研究.doc

编号：（ ）字 号 本科生毕业论文 题目： 最小二乘问题的研究 姓名： 孙建强 学号： 班级： 数学与应用数学10-2 二〇一四年六月 一、最小二乘问题的提出 2 二、最小二乘问题与正交投影 2 三、最小二乘问题与正交三角分解 5 四、最小二乘问题与广义逆矩阵 17 五、最小二乘问题的应用 24 1、最小二乘问题的提出 1.1、最小二乘问题的由来 意大利的天文学家朱塞普·匹亚奇于1801年发现了一颗小行星，谷神星。但40多天后，谷神星运行到背向地球的一面，这使得匹亚奇无法在追踪其位置。之后欧洲各国的科学家开始利用皮亚奇收集到的数据开始寻找谷神星，但大多数天文学家一无所获。当时，德国著名数学家高斯也计算了谷神星的轨道，可惜未根据结果找到谷神星。细心的奥地利人海因里希 奥尔波斯根据高斯计算的轨道终于重新找到了谷神星。 为找到谷神星提供有力工具的正是高斯使用的“最小二乘法”。高斯于1809年将该方法发表于他的《天体运行论》中。但是，法国科学家勒让德在1806年独立发现并最先发表了最小二乘法。后来，两人为谁最先创立最小二乘法而发生了争执。1829年，高斯证明了最小二乘法的优化效果强于其他方法的证明，因此，这个方法被称为“高斯-马尔科夫定理”。 最小二乘法（the least square method）又称“最小平方法”，是一种数学优化技术。它通过最小化误差平方和寻找参数的最佳函数匹配。利用最小二乘法可以简便地求得未知参数的最小二乘估计，并使得这些求得的参数与实际参数之间误差的平方和最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 对于非齐次线性方程组 （1.1） 其中，，而为待定向量。如果存在向量使得方程（1.1）成立，则称方程组相容，否则称为不相容或者矛盾方程组。 如果方程组（1.1）不相容，则不存在通常意义下的解。这时需要求其近似解，使得对欧几里得范数，误差达到最小。 设，，如果存在，使得 ，， 则称是方程组的一个最小二乘解。 对于不相容方程组，其中，，通常情况下，为得到回归参数的精确解，样本量通常会大于参数个数，并且由于观测数据是一定区间内的随机变量，的列向量相关的概率是极小的，所以本论文仅考虑的列向量线性无关的情况。 2、最小二乘问题与正交投影 2.1、投影与正交投影 首先介绍投影与正交投影的概念。 设和都是的子空间，且。则任意都可唯一分解为 称为沿着到的投影。 定义2.1 将任意变为沿着到的投影的变换称为沿着到的投影算子，记为，即 。 定义2.2 投影算子在的基下的矩阵称为投影矩阵，记为。 投影矩阵可按如下方法求得： 假定，则。在子空间和中分别取定基底 ， 这两组基底联合起来便构成的基底。根据投影矩阵的性质有 （2.1） 作分块矩阵 从而式（2.1）等价于 由于是n阶可逆矩阵，因此投影矩阵为 （2.2） 定义2.3 设是的子空间，则称沿着到的投影算子为正交算子，简记为。正交投影算子在的基下的矩阵称为“正交投影矩阵”，记为。 设，则。取为的基，又设为的基，作分块矩阵 ， 显然. 由（2.2）知 （2.3） 我们可以通过将因变量观察列向量（）正交投影与资料矩阵（）生成的线性空间得到其“投影向量”，再将因变量观察列向量与投影向量作差，就得到误差列向量。这一过程中会用到投影矩阵，而投影矩阵具有良好的性质，我们可以借助这一性质将问题简化。 设为不相容方程组，其中，。设的个列向量分别为，由上知线性无关。设由生成的线性空间为，为的正交补子空间。设 ，其中。 有上面分析知， 若是的最小二乘解，则满足 ， ， 由于，而，所以 ，所以要使 达到最小等价于使达到最小，即 将上式两边同时左乘以，得，由于的列向量线性无关，所以可逆，所以是的最小二乘解。 下面通过一个例题来应用时下上面的结论。 例2.1 求出下列已知数据点之最小平方抛物线 。 解 令最小平方抛物线方程为，由题知 ，， ，， ，所以。 三、最小二乘问题于矩阵的正交三角分解 由于最小二乘问题中矛盾方程