数值分析2-2(免费阅读).ppt

最速下降法算法 共轭梯度法 输入：x, A, b; 输出: x . r = b-Ax; while 不满足判停准则 x= x+ αr r = r –αAr % end * 例2.9：根据最速下降法的算法，写出求解线性方程组 Ax=b 的过程，其中： 共轭梯度法 * 解：首先判断矩阵A对称正定。 假设取初始解为 ，计算残差 迭代第一步，为计算 ，首先计算 则： 共轭梯度法 * 因此有 采用相似的步骤进行后续计算，可依次得到 * 共轭梯度法 k x(1) x(2) 1 0.08 -0.6133 2 1.0044 -2.0000 3 1.5221 -1.6549 4 1.7522 -2.0000 5 1.8811 -1.9141 6 1.9383 -2.0000 7 1.9704 -1.9786 8 1.9847 -2.0000 9 1.9926 -1.9947 10 1.9962 -2.0000 准确值： x= [2, -2]T 最速下降法的特点： 每个迭代步主要是做矩阵 A 和向量 r 的乘法 若A为稀疏矩阵，只需要遍历矩阵非零元，并且算法不改变原始矩阵A 迭代过程中，向量α 和 r 不断变化，因此前后两个迭代解之间不满足一种固定的递推公式（与经典迭代法不同） 由于多元二次函数 H(x)是凸函数，所以一定存在唯一的最小值点。即：当矩阵A对称正定时，最速下降法一定收敛 共轭梯度法 * 最速下降法的缺点： 负梯度方向虽然从局部来看是最佳的搜索方向，而且每步都在该方向上使 H(x) 达到最小，但并没有在全局上使H(x)最小化。 结果：收敛速度很慢 改进为共轭梯度法(-CG) 共轭梯度法(Conjugate Gradient) 算法原理：给定初始向量 x0，第一步仍选负梯度方向为搜索方向，即 ，于是有 * 将该平面记为： 共轭梯度法 设 要求出 的极小值，以及它对应的 值 则应计算 f 的偏导数，并令其为零： * 对第k+1步 ，搜索方向不仅仅考虑 rk，而是在过点 xk，由向量 rk和 pk-1 所张成的平面内寻找函数 H(x) 的最小值 共轭梯度法 即 设要求的极小值点为 ： 若 , 有 ，可取新的搜索方向为 * 它是在上述二维平面中的最佳搜索方向，且搜索步长为 。此处不直接推导 的计算公式，而是先确定搜索方向pk. (rk系数为1) 令 ，由前述第二个方程 共轭梯度法 可得： 所以最佳搜索方向为 且易证 即前后两步搜索方向是 A共轭（或A正交）的 * 利用前面的公式 即可确定搜索步长 则下一个迭代解为 共轭梯度法算法 共轭梯度法 输入: x0, A, b; 输出：xk. r0 = b – Ax0; p0 = r0; k = 0; while 不满足判停准则 rk+1 = rk – αApk ; k = k+1; end * 计算一次矩阵向量乘法，三次向量乘积 * 共轭梯度法 例2. 10 ：根据共轭梯度算法，写出求解线性方程组Ax=b的过程，其中 解：同样假设取初始解为 ，然后计算出 ，算法执行过程如下表 k Apk α xk+1 rk+1 β pk+1 0 [52, 72]T 0.1733 [0.08,-0.6133]T [2.9867,-4.48]T 0.1394 [4.6592,-3.365]T 1 [7.2476,-10.8715]T 0.4121 [2,-2]T 二维问题，两步计算出准确解 * 共轭梯度法 每迭代一步，产生3个向量 xk, rk, pk，分别称为近似解向量、残差向量和搜索方向向量 共轭梯度法有如下特点： 1） ，其中 一般称为Krylov子空间，记为 ?(A,r0)； 2）xk+1不但在向量rk和pk-1所张成的平面上使 H(x)最小，而且在超平面x0+ ?(A,r0)上使H