Lecture9_使用导数的最优化方法全解.ppt

FR共轭梯度法（一般可微函数） Ex 陈宝林书 P 330 14 （1） Homework 1. 总结最速下降法、牛顿法及共轭梯度法 的基本思想和计算步骤 P328 3， 14 (2)(5) 同时要求用牛顿法求解 用Newton法求解无约束问题会出现以下情形： （1）收敛到极小点 （2）收敛到鞍点 （3）Hesse矩阵不可逆，无法迭代下去 优点:（1）Newton法产生的点列{x(k)}若收 敛，则收敛速度快---具有至少二阶收敛速率。 (2) Newton法具有二次终止性 缺点: （1）可能会出现在某步迭代时，目标函数值上升. （2）当初始点远离极小点时，牛顿法产生的点列可能不收敛，或者收敛到鞍点，或者Hesse矩阵不可逆，无法计算. （3）需要计算Hesse矩阵，计算量大. 步骤: 阻尼牛顿法 修正牛顿法 Ex 陈宝林书 P328 2 并用牛顿法从给定点处出发求解极小点 共轭方向法 共轭方向 定义： 例： 定理1 证明： 定理2： 证明： 定理3： 共轭梯度法(FR法) 记号： 在共轭梯度法中，初始点处的搜索方向取 为该点的负梯度方向，即取 而以下各共轭方向d(k)由第k次迭代点x(k)处的负梯 度-gk与已经得到的共轭向量d(k-1)的线性组合来确定。