[数学]6线性方程组迭代法.ppt

Numerical Analysis 第六章 线性方程组的迭代解法 本章内容 本讲内容 线性方程组迭代解法 矩阵分裂迭代法 矩阵分裂迭代法 向量序列的极限 向量序列的极限 向量序列的极限 收敛性分析 收敛性分析 收敛速度(P186) 收敛速度(P187) 本讲内容 Jacobi 迭代 Jacobi 迭代 Gauss-Seidel 迭代 Gauss-Seidel 迭代 SOR 迭代 SOR 迭代 Jacobi、G-S、SOR 举例 举例 举例 收敛性 对角占优矩阵 可约与不可约 Jacobi、G-S 收敛性 SOR 收敛性 举例 举例 本讲内容 等价问题 等价问题 等价问题 最速下降法 最速下降法 最速下降法 收敛性 共轭梯度法 共轭梯度法 共轭梯度法 共轭梯度法 共轭梯度法 共轭梯度法 收敛性 举例 共轭梯度法 共轭梯度法 共轭梯度法 共轭梯度法 解法二： Jacobi 的迭代矩阵为 设 ? 是 J 的特征值，则由 det(?I - J) = 0 可得 ( ? - a)2 ( ? +2a) = 0 Jacobi 收敛的充要条件是 ?(J)1 ? |?|1， 即 -0.5a0.5 最速下降法 共轭梯度法 共轭梯度法的收敛性分析 共轭梯度法 作二次泛函 ?(x): Rn ? R ?(x) 具有以下性质： 考虑线性方程组：Ax = b ，其中 A 对称正定 (1) ?(x) 的梯度为： (2) 对任意 x, y?Rn 和 ??R，有 (3) 令 x*=A-1b，则有 定理：设 A 对称正定，则 x* 是 Ax = b 的解的充要条件是 证明：由 ?(x) 的第三个性质即可得 解线性方程组 Ax = b 求 ?(x) 的最小值点(极小值点) 基本思想：任取一个迭代初始向量 x(0)，构造迭代序列 x(0), x(1) , x(2), . . . ，使得 ?(x(0)) ?(x(1)) ?(x(2)) . . .，且每一步都以 “最快的速度” 下降到 ?(x) 的极小值。 具体作法：设 x(k) 已经求得，计算 x(k+1)：?(x) 沿 x(k) 处的最速下降方向，即负梯度方向 r(k) = -(Ax(k) - b) 的最小值点，即 最速下降法 计算 ?k 的值 由 ?(x) 的第二个性质可得 算法 ：(最速下降法 ) (1) 任取 x(0)?Rn ，计算 r(0) = b - Ax(0) (2) 对 k = 0, 1, 2, ... , 计算 若 ，则输出 x* = x(k+1) ，停止计算 停机准则 定理：设 A 对称正定，其特征值为 则由最速下降法产生的序列满足 且有 当 ?1 ?n 时，收敛会很慢，并可能出现不稳定现象 (舍入误差引起) 基本想法：在确定 x(k+1) 时，不沿负梯度方向取极小，而是寻找一个更好的方向 p(k) ，使得 ?(x) 下降得更快！ 共轭梯度法 定义：设 A 对称正定，若 (x , Ay) =0 ，则称 x , y 关于 A 正交 (A-正交) 或 A-共轭，若 z1, z2 , . . . , zn 相互 A-共轭，则称 z1, z2 , . . . , zn 构成 A-正交向量组或A-共轭向量组 具体作法：令 p(0) = r(0) ，设 x(k) 已经求得，则 x(k+1) 由下面的公式确定： 其中 几个关系式 定理：设 A 对称正定，则由 CG 算法产生的序列满足 (1) 当 i?j 时，(r(i) , r(j)) =0 ，即 r(0), r(1), r(2), . . . 相互正交 (2) 当 i?j 时，(p(i) , Ap(j)) =0 ，即 p(0), p(1), p(2), . . .  相互 A-共轭 证明：P206 ?k 与 ?k 的计算 算法 ：(共轭梯度法 ) (1) 任取 x(0)?Rn ，计算 r(0) = b - Ax(0) ，令 p(0) = r(0) (2) 对 k = 0, 1, 2, ... , 计算 若 ，则输出 x* = x(k+1) ，停止计算 定理：设 A 对称正定，则共轭梯度法至多 n 步就能找到精确解。 r(0), r(1) , . . ., r(n) 相互正交，则至少有一个为 0 定理：设 A 对称正定，x* 为精确解， x(k) 为共轭梯度法的数值解，则有 其中 例：用共轭梯度法解线性方程组 共轭梯度法 * * 数值分析 迭代算法基本概念 矩阵分裂迭代算法 共轭梯度算法 迭代算法的构造 收敛性与收敛速度分析 矩阵分裂迭代算法 运算量大，不适合大规模的线性方程组求解 无