回归问题——线性方程组求解的迭代法.docVIP

第六章 回归问题 ——线性方程组求解的迭代法 6.1 回归问题 6.1.1 问题的引入 在数理统计中，把研究对象的全体称为总体，而把组成总体的每个单元称为个体，要了解总体的规律性，必须对其中的个体进行统计观测。但若对全部个体进行观测，这样能对总体有充分的了解，但实际上行不通，而且也不经济。所以对整体进行随机抽样观测，再根据抽样观察的结果来推断总体的性质成为一种重要的方法。许多数理统计建模的实际问题中，一个随机变量与另一个随机变量的关系不是线性关系，而是曲线关系，那么如何确定回归方程呢？ 下表给出了某种产品每件平均单价（元）与批量（件）之间的关系的一组数据，试确定与的函数关系。 表6.1.1 已知数据 20 25 30 35 40 50 60 65 70 75 80 90 1.81 1.70 1.65 1.55 1.48 1.40 1.30 1.26 1.24 1.21 1.20 1.18 6.1.2 模型的分析 先将表6.1.1中的数据进行曲线拟合，然后根据经过拟合的曲线形状确定回归方程的次数。用MATLAB做出拟合图如下，由下图知,可建立二次回归多项式模型。 图6.1.1 散点图 6.1.3 模型的假设 假设上表给出的数据是真实的，且以上数据是随机抽取的可以较准确地推断单位与批量的关系，假设单价与批量的函数关系是一个多项式函数，可用多项回归来建立模型。 6.1.4 模型的建立 根据模型的分析，可以建立多项式模型，令，则回归方程可写成，这是一个二元线性回归模型。且，其中： 6.2 线性方程组迭代法概述 迭代法：即用某种极限过程逐步逼近线性方程组精确解的方法。迭代法具有需要计算机存储较少、程序设计简单、原始系数矩阵在计算过程中始终不变等优点，但有收敛性或收敛速度的问题。迭代法是解大型稀疏矩阵方程组的重要方法。 迭代法能保持矩阵的稀疏性，具有计算简单、编制程序容易的优点，并在许多情况下收敛较快。故能有效地解一些高阶方程组。 迭代法的基本思想是构造一串收敛到解的序列，即建立一种从已有近似解计算新的近似解的规则。由不同的计算规则得到不同的迭代法。 对线性方程组，其中，非奇异矩阵，。 构造其形如的同解方程组，其中为阶方阵，。 任取初始向量，代入迭代公式产生向量序列，当充分大时，作为方程组的近似解，这就是求解线性方程组的单步定长线性迭代法。称为迭代矩阵。 6.3 迭代法 6.3.1 Jacobi迭代法 对，设，(6.3.1)，将改写成： (6.3.2) 又将分裂为：，则(6.3.1)等价于 (6.3.3) 其中应选择为一个非奇异阵，并使容易求解。 对应(6.3.3)可构造一个迭代过程：初始向量， (6.3.4) 特别地，若选取，则，从而(6.3.1)化为： 可得：Jacobi迭代公式：（初始向量），，其中： (6.3.5) 称为Jacobi迭代的迭代矩阵。 Jacobi迭代的分量形式： 引进记号：为第次近似，由(6.3.5)有： (6.3.6) Jacobi迭代公式简单，由公式(6.3.5), (6.3.6)可知，每迭代一次只需计算一次矩阵与向量乘法，计算机中只需要两组工作单元用来保存及且可用来控制迭代终止。由迭代计算公式可知，迭代法一个重要特征是计算过程中原来矩阵数据始终不变。 例6.3.1 用Jacobi迭代法求下面线形方程组，其精确解是： 。 解 先将转化为等价方程组： 迭代公式：选取初始向量， 经10次迭代解： ，误差为：。 6.3.2 Gauss-Seidel迭代法 在(6.3.3)中选取（下三角阵），则，从而(6.3.1)化为等价的： (6.3.7) 可得Gauss-Seidel迭代公式：初始向量，，其中 称为Gauss-Seidel迭代矩阵。G-S迭代法的分量形式为：记，有迭代公式(6.3.9)， (6.3.9) Gauss-Seidel迭代法每迭代一次只需计算一次矩阵与向量的乘法，但G-S迭代法比Jacobi迭代法有一个明显的优点，那就是计算机上仅需一组工作单元用来保存分量（或分量）当计算出就冲掉旧的分量。由G-S迭代公式(6.3.9)可看出在的一步迭代中，计算分量时利用了已计算出来的新分量。因此，G-S迭代法可以看作是Jacobi迭代法的一个修正。 例6.3.2 用G-S方法解下面方程组，其精确解为：， 解 由(6.3.9)可得本题G-S迭代公式