共轭方向法和共轭梯度法.pdf

《最优化理论与方法》 《最优化理论与方法》 邵建峰 第三章 无约束最优化的梯度方法 信息与计算科学系 邵建峰 邵建峰 本章内容：  3.1 无约束最优化问题的最优性条件  3.2 最速下降法  3.3 Newton法  3.4 共轭方向法和共轭梯度法  3.5 拟Newton法  3.6 最小二乘问题 邵建峰 3.4 共轭方向法和共轭梯度法 信息与计算科学系 邵建峰 邵建峰 本节内容：  一. 共轭方向法  二．共轭梯度法 一. 共轭方向法 (针对二次函数) 1. 最速下降法 min f (x) ( f ( x , x , ,x )) 1 2 n s.t. xD  R n *  求使f (x)  0 的点x f (x ) k x k 1 * · x x k 最速下降法是：若已知目标函数f (x)的梯度g (x) ( f (x)) 则选取初始搜索方向与每个当前点处的搜索方向为p k gk 一. 共轭方向法 (针对二次函数) 2. 牛顿法 f (x ) p G (x )1g (x ) k k k k g xk T pk g xk T G xk 1 g xk  · * x x x  p · x k 1 k k