使用导数的最优化方法_.ppt

（1）可能会出现在某步迭代时，目标函数值上升. （2）当初始点远离极小点时，牛顿法产生的点列可能不收敛，或者收敛到鞍点，或者Hesse矩阵不可逆，无法计算. （3）需要计算Hesse矩阵的逆矩阵，计算量大. （1）可能会出现在某步迭代时，目标函数值上升. （2）当初始点远离极小点时，牛顿法产生的点列可能不收敛，或者收敛到鞍点，或者Hesse矩阵不可逆，无法计算. （3）需要计算Hesse矩阵，计算量大. 步骤(FR共轭梯度法） 变尺度法(Variable Metric Method)拟牛顿法(Quasi-Newton Method) 这是一种求解无约束极值问题的有效算法， 由于它既避免了计算二阶导数、矩阵及其求逆 过程，又比最速下降法的收敛速度快，特别是 对高维问题具有显著的优越性，所以，它被 公认为求解无约束极值问题最有效的算法之一。 牛顿法的缺点: 基本原理： 阻尼牛顿法: 拟牛顿条件 拟牛顿法步骤 秩1校正 一般策略： 校正矩阵 拟牛顿法步骤 DFP算法(变尺度法) 定义： DFP公式 共轭方向法 共轭方向 定义： 例： 定理1 证明： 定理2： 证明： 定理3： 定理（扩张子空间定理,expanding subspace theorem） 共轭方向法 步骤（适用于正定二次函数） 从任意点出发，依次沿某组共轭方向进行一维搜索求解非线性规划问题的方法。 结论： 证明