2.5共轭梯度法浅析.pptVIP

解： 易验证系数矩阵是对称正定的. 例：用CG迭代法求解下列方程组: 3 x Step1 计算 Step2 计算 迭代结束 由共轭梯度法计算得到的 近似解满足 或 * 预备知识 最速下降法 共轭梯度法 数值试验算例 ? ? ? ? * §2.5 共轭梯度法 ( x, y ) = ( y, x ); ( tx, y ) = t ( x, y); ( x+ y, z ) = ( x, z ) + ( y, z ); ( x, x) ≥ 0, 且( x, x) = 0 ? x = 0; I 方程组问题: Ax = b 设A是 n 阶对称正定阵 ( Ax, y ) = ( x, Ay ) ; ( Ax，x ) ≥0, 且( Ax, x) = 0 ? x = 0 2/16 预备知识：内积的定义 II 极值问题: 设 , 记 ( x , y) = xT y 预备知识 梯度: * Hessian矩阵: 预备知识 * 费马引理: * 注释: 费马引理的价值在于将极值问题转化为方程的求解问题。 初等变分原理 一、与方程组等价的二次泛函问题 思想 共轭梯度法将求解方程组问题等价转化为一个 二次 泛函的极值问题。 定义二次函数 设 为对称正定矩阵， 其中 定理(初等变分原理) 设A =(aij )n×n为实对称正定矩阵, ，则 x是二次函数 的极小值点 ? x 是线性方程组 Ax = b 的解。 * 该性质说明：求解方程组的解等价于求上述 二次函数的最小值。 若 则由极值的必要条件得 迭代法构造思想：构造 使得 从瞎子下山到最优化方法 * Science of Better 瞎子与计算机 瞎子: 能感觉到脚下的坡度(这是海拔函数在当前点的梯度值),但不知道山上其它点的任何情况 计算机: 计算目标函数在该点的信息(如函数值和梯度值), 但不知道其它点的信息 * 2.5.2 最速下降法 ?几何意义： 等值线 思想 最速下降法是指每次沿着函数值 下降最快的方向寻找最小值点。 而函数值下降最快的方向是函数的负梯度方向 ?最速下降法实现过程： 选取初始向量 ，由二次函数 的基本性质? 如果 ，则 就是方程组的解； 如果 ，则沿 方向进行一维极小搜索： 求 使得 达到最小值, 则 注意到 令 ，从而完成第一次迭代。 下面以 为新的初值，重复上述过程。 ?最速下降法的算法: 选取初值 For k=0,1,2,… 若 ，停止 否则，进行下一次循环 搜索方向是正交的： 缺陷：收敛速度慢！ 收敛速度？？？？？ 解： 易验证系数矩阵是对称正定的. 例：用最速下降法求解方程组: 3 x Step1 计算 最好 + 最好 = 最好 ? 方向(最速下降) (best rk) 步长(精确搜索) (best ) 是否最好 ? * 设 的特征值为 , 则由前述最速下降算法产生的序列 满足 其中 。 上述定理说明，当 时最速下降法收敛非常慢。 f(x1,x2)=100x12+x22 最速下降法 * f(x1,x2)=100x12+x22 Barzilai-Borwein方法 * 最速下降法思想简单,但是收敛速度慢。本质上是因为负梯度方向函数下降快是局部性质。 全局思想: 局部思想: N 维空间的任意向量可以由N个线性无关的向量线性表示。 * 3、共轭梯度法/*Conjugate-Gradient Method*/ 共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 Hestenes和Stiefle（1952）提出来的，用于解正定系数矩阵的线性方程组， Fletcher和Reeves（1964）首先提出了解非线性最优化问题的共轭梯度法。 由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用与实