lecture7使用导数的最优化方法.ppt

最优化方法 Optimization第十二讲 定理1 证明： 定理2： 证明： 定理3： 共轭梯度法(FR法) 记号： 在共轭梯度法中，初始点处的搜索方向取 为该点的负梯度方向，即取 而以下各共轭方向d(k)由第k次迭代点x(k)处的 负梯度-gk与已得的共轭向量d(k-1)的线性组合来确定。 以此类推，得 定理: FR共轭梯度法 例: 一般函数的共轭梯度法 迭代的延续方法： FR共轭梯度法 这是一种求解无约束极值问题的有效算法，由于 它既避免了计算二阶导数、矩阵及其求逆过程， 又比最速下降法的收敛速度快， 特别是对高维问题具有显著的优越性， 所以，它被公认为 求解无约束极值问题最有效的算法之一。 拟牛顿法(Quasi-Newton Method) 基本原理： 阻尼牛顿法: 拟牛顿条件 拟牛顿法步骤 秩1校正 一般策略： 校正矩阵 DFP拟牛顿法 定义： DFP公式 DFP法计算步骤: 例: 用DFP方法求解下列问题： 第 一 次 迭 代 第二次迭代 DFP拟牛顿法- 第十章 使用导数的最优化方法 (分三讲) 无约束优化问题算法 最速下降法 牛顿法 共轭梯度法 拟牛顿法 信赖域法 最小二乘法 最速下降法 最速下降方向 取搜索方向: 步骤: 带精确线搜索的最速下降法 例: 第一次迭代 解: 第二次迭代 最速下降法的收敛性 二次函数情形 最速下降法表示为 Kantorovich不等式 定理（最速下降法—二次情形） 定理： 条件数 非二次情形 结论：在相继两次迭代中,梯度方向互相正交. 基本思想 用一个二次函数去近似目标函数f(x), 然后精确地求出这个二次函数的极小点. 牛顿法 牛顿方向 定理： 步骤: 用Newton法求解无约束问题会出现以下情形： （1）收敛到极小点 （2）收敛到鞍点 （3）Hesse矩阵不可逆，无法迭代下去 优点:（1）Newton法产生的点列{x(k)}若收 敛，则收敛速度快---具有至少二阶收敛速率。 (2) Newton法具有二次终止性 缺点: （1）可能会出现在某步迭代时，目标函数值上升. （2）当初始点远离极小点时，牛顿法产生的点列可能不收敛，或者收敛到鞍点，或者Hesse矩阵不可逆，无法计算. （3）需要计算Hesse矩阵，计算量大. 步骤: 阻尼牛顿法 修正牛顿法 共轭梯度法 共轭方向 定义： 例：