第9讲梯度法和轭梯度法.pptVIP

* 4.1 梯度法和共轭梯度法 无约束最优化问题 2. 梯度法 3. 共轭梯度法 一. 无约束最优化问题 解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 二. 梯度法（最速下降法） 迭代公式： 如何选择下降最快的方向？ 梯度法（最速下降法）： 梯度法算法步骤： 解： 收敛性 性质. 最速下降法反映的目标函数的一种局部性质,从局部看, 最速下降方向确是目标函数值下降最快的方向,选择这样的方向进行搜索是有利的. 但从全局来看,由于锯齿现象的影响, 即使向着极小点移近不太大的距离,也要经历不小的”弯路”,因此收敛速度大为减慢. 最速下降法一般适用于计算过程的前期迭代,或者作为间插步骤. 共轭梯度法 1. 共轭方向和共轭方向法 共轭是正交的推广。 几何意义 共轭方向法 2. 共轭梯度法 如何选取一组共轭方向？ 以下分析算法的具体步骤。