最小二乘问题研究.doc

编号：（ ）字 号 本科生毕业论文 题目： 最小二乘问题的研究 姓名： 孙建强 学号： 班级： 数学与应用数学10-2 二〇一四年六月 一、最小二乘问题的提出 2 二、最小二乘问题与正交投影 2 三、最小二乘问题与正交三角分解 5 四、最小二乘问题与广义逆矩阵 17 五、最小二乘问题的应用 24 1、最小二乘问题的提出 1.1、最小二乘问题的由来 意大利的天文学家朱·匹亚发现了一颗小行星利用最小二乘法可以简便地求得未知的，并使得这些求得的与实际之间误差的平方和最小。最小二乘法还可用。其他一些优化问题也可通过最或最大化熵用最小二乘法来表达。 （1.1） 其中，，而为待定向量。如果存在向量使得方程（1.1）成立，则称方程组相容，否则称为不相容或者矛盾方程组。 如果方程组（1.1）不相容，则不存在通常意义下的解。这时需要求其近似解，使得对欧几里得范数，误差达到最小。 设，，如果存在，使得 ，， 则称是方程组的一个最小二乘解。 对于不相容方程组，其中，，通常情况下，为得到回归参数的精确解，样本量通常会大于参数个数，并且由于观测数据是一定区间内的随机变量，的列向量相关的概率是极小的，所以本论文仅考虑的列向量线性无关的情况。 2、最小二乘问题与正交投影 2.1、投影与正交投影 首先介绍投影与正交投影的概念。 设和都是的子空间，且。则任意都可唯一分解为 称为沿着到的投影。 定义2.1 将任意变为沿着到的投影的变换称为沿着到的投影算子，记为，即 。 定义2.2 投影算子在的基下的矩阵称为投影矩阵，记为。 投影矩阵可按如下方法求得： 假定，则。在子空间和中分别取定基底 ， 这两组基底联合起来便构成的基底。根据投影矩阵的性质有 （2.1） 作分块矩阵 从而式（2.1）等价于 由于是n阶可逆矩阵，因此投影矩阵为 （2.2） 定义2.3 设是的子空间，则称沿着到的投影算子为正交算子，简记为。正交投影算子在的基下的矩阵称为“正交投影矩阵”，记为。 设，则。取为的基，又设为的基，作分块矩阵 ， 显然. 由（2.2）知 （2.3） 我们可以通过将因变量观察列向量（）正交投影与资料矩阵（）生成的线性空间得到其“投影向量”，再将因变量观察列向量与投影向量作差，就得到误差列向量。这一过程中会用到投影矩阵，而投影矩阵具有良好的性质，我们可以借助这一性质将问题简化。 设为不相容方程组，其中，。设的个列向量分别为，由上知线性无关。设由生成的线性空间为，为的正交补子空间。设 ，其中。 有上面分析知， 若是的最小二乘解，则满足 ， ， 由于，而，所以 ，所以要使 达到最小等价于使达到最小，即 将上式两边同时左乘以，得，由于的列向量线性无关，所以可逆，所以是的最小二乘解。 下面通过一个例题来应用时下上面的结论。 例2.1 求出下列已知数据点之最小平方抛物线 。 解 令最小平方抛物线方程为，由题知 ，， ，， ，所以。 三、最小二乘问题于矩阵的正交三角分解 由于最小二乘问题中矛盾方程组涉及到的矩阵通常满足，并且的个列向量通常是线性无关的，所以本段所讨论的矩阵满足这些条件。 定义3.1 如果实（复）列向量线性无关的矩阵能够化成满足（）的实（复）矩阵与实（复）非奇异上三角矩阵的乘积，即 （3.1） 则称（3.1）为的分解。 下面介绍三种求的分解的方法，他们分别是Schmidt正交化方法、Givens变换法（初等旋转变换法）和Householder变换法（初等反射变换法）。 定理3.1 设是阶实（复）列向量线性无关的矩阵，则存在满足（）的实（复）矩阵和实（复）非奇异上三角矩阵，使有分解（3.1）。 证明 记矩阵的个列向量依次为。将它们按Schmidt正交化方法正交化。 其中，将上式改写成为 用矩阵表示为 其中，， 在对单位化得 于是有 令