最速下降法与共轭梯度法.docxVIP

最速下降法与共轭梯度法 最速下降法 当方程组 ???? Ax = b (1)中的A为对称正定矩阵时，方程组Ax=b的解正好是二次函数???? (2)的唯一极小值点。求解方程组(1)的问题等价与求? ????? (3)问题。求解问题(3)的最简单的方法是所谓最速下降法，即从某个初始点x(0) 出发，沿φ(x)在点x(0) 处的负梯度方向?????? (4)(称为搜索方向)求得φ(x)的极小值点x(1) , 即?????? (5)然后从x(1) 出发，重复上面的过程得到x(2) 。如此下去,得到序列{x(k) }?????? (6)可以证明，从任一初始点x(0) 出发， 用最速下降法所得到的序列{x(k) }均收敛于问题(3)的解，也就是方程组(1)的解。其收敛速度取决于????? 其中λ1 ,λn 分别为A的最小,最大特征值。最速下降法迭代格式：给定初值x(0) ,x(k) 按如下方法决定 ? ?例8 用最速下降法求解对称正定方程组??解：过程如图所示。?? 共轭梯度法 共轭梯度法简称CG(Conjugate Gradient),其基本步骤是在点x(k) 处选取搜索方向d(k) , 使其与前一次的搜索方向d(k-1) 关于A共轭，即?????????? d(k) ,Ad(k-1) = 0 k=1,2,… (7)?然后从点x(k) 出发，沿方向d(k) 求得φ(x)的极小值点x(k+1) , 即????????? (8)如此下去, 得到序列{x(k) }。不难求得(7)的解为????????? 注意到d(k) 的选取不唯一，我们可取d(k) = -▽φ(x(k) )+βk-1 d(k-1) ,?由共轭的定义(7)可得??????? 共轭梯度法的计算过程如下：第一步：去初始向量x(0) , 计算??????? ?第k+1步(k=1,2,…)：计算??????? ?例8 用共轭梯度法求解对称正定方程组???????? 解????? 迭代过程如图所示 ??故x2 = (1,1)T 就是φ(x)的最小点，也就是索求方程的解。