数值计算方法第六章 线性与非线性方程组的迭代VIP

设，且的所有对角元且是2- 循环和相容次序矩阵，记的特征值均在上，并记为求解方程组的Jacobi 迭代矩阵，且则求解方程组的SOR 方法的迭代矩阵的谱半径满足：且当时，是的单调递减函数，并有关于最佳松弛因子的进一步讨论，可参考文献《数值计算方法》（下册），林成森著《矩阵迭代分析》，a 著，蒋尔雄等译关于块松弛迭代法构造思想类似SOR 方法§6.4 共轭梯度法/*Conjugate Gradient Method*/ 一、与方程组等价的变分问题思想共轭梯度法是一种变分方法，将求解方程组问题等价转化为一个二次函数的极值问题设为对称正定矩阵，其中定义二次函数二次函数的基本性质：对设为的解，则，且对有设对称正定，则为的解的充要条件是证明：必要性由上述性质易知，下证充分性：定理 说明：求解方程组的解等价于求上述二次函数的最小值。常用方法：迭代解法如果则由极值的必要条件得二、最速下降法/*Steepest Descent Method*/ 思想最速下降法是指每次沿着函数值下降最快的方向寻找最小值点。而函数值下降最快的方向是函数的负梯度方向几何意义：等值线图形最速下降法的实现过程选取初始向量，由二次函数的基本性质如果，则就是方程组的解；如果，则沿方向进行一维极小搜索：求步长，使得注意到令，从而完成第一次迭代。下面以为新的初值，重复上述过程。最速下降法的算法选取初值For k=0,1,2,…如果，停止否则，进行下一次循环搜索方向是正交的：缺陷：收敛速度慢引理 设的特征值为, 是的一个实系数多项式，则其中。证明：设，且满足则有：（可约矩阵的等价定义）设矩阵，，如果存在的两个非空子集和，满足使得则称矩阵可约，否则称不可约。例如：矩阵矩阵不可约设为严格对角占优或不可约对角占优，则，且非奇异。证明：首先证明矩阵为严格对角占优的情况（反证法）设矩阵奇异，则方程组存在非零解。不妨假设，则由第k个方程得：其次证明矩阵为不可约对角占优的情况首先证明设由条件：是弱对角占优，即存在集合与不可约矛盾！使得下面证明是非奇异的：设则存在非零向量满足则存在非空集合否则与弱对角占优矛盾！且满足与弱对角占优矛盾！不可约条件设为严格对角占优或不可约对角占优的对称矩阵，且对角元素皆为正，则正定。推论证明：设为矩阵的特征值，则对于，注意到与同为严格对角占优或不可约对角占优则，即由的任意性知，矩阵的特征值均大于零，所以正定。若为严格对角占优或不可约对角占优的，则Jacobi 迭代和Gauss-Seidel 迭代收敛。证明：首先证明Jacobi 迭代的收敛性（反证法）因为是严格对角占优或不可约对角占优，则设有一个特征值，满足，则有注意到也为严格对角占优或不可约对角占优与是的特征值矛盾仅给出不可约对角占优矩阵G-S 法的证明只要证明，其中设有一个特征值，满足，且有由是不可约且弱对角占优矩阵知：其次证明Gauss-Seidel 迭代收敛的情况（反证法）注意到和的零元素和非零元素的位置完全一样，故是不可约也是弱对角占优矩阵矛盾！如果为严格对角占优矩阵，易证其中为J法的迭代矩阵迭代法的收敛速度：设迭代法收敛，即（/* Rate of Average Convergence */ ）称之为迭代法的平均收敛率。上式说明：可看作第k次迭代误差范数的压缩率平均压缩率上式说明：最小迭代次数与成反比记（/* Rate of Convergence */ ）称之为迭代法的渐进收敛率，或者渐进收敛速度，简称收敛速度。迭代次数的近似估计式上式说明：谱半径越小，收敛速度越快。设，是任意一种矩阵范数，则证明：因为对令所以时，§6.3 超松弛(SOR) 迭代法/*Overrelaxation Iteration*/ 一、超松弛(SOR) 迭代法思想类似于G-S 迭代法的改进方法，利用第k次迭代值和第k +1 次的G-S 迭代值作加权平均G-S 迭代法的计算公式：作加权平均超松弛(SOR) 迭代法的分量形式：其中称为松弛因子；时即为G-S 迭代SOR 迭代法的迭代矩阵：记超松弛(SOR) 迭代法的迭代公式迭代矩阵其中例1：写出SOR 迭代法求解下列方程组的迭代格式解：SOR 迭代法的迭代公式取初始向量选取不同的值进行计算，结果见下表(2.9999993 4.0000001 -4.9999996 ）12 0.00001 (2.9999853 4.0000031 -4.9999935 ）10 0.0001 (2.9997451 4.0000653 -4.9998924 ）8 0.001 (3.0000210 3.9999820 -5.0000046) 23 0.00001 (3.0001673 3.9998567 -5.0000368) 18 0.0001 (3.0020191 3.9982705 -5.00