13.使用导数的最优化方法分析报告.ppt

第十章 使用导数的最优化方法 ----研究无约束问题最优化方法 精确一维搜索的一个重要性质： 定理： 最速下降法 最速下降方向 取搜索方向: 步骤: 例: 第一次迭代 解: 第二次迭代 例: 最速下降法的收敛性 定理： 二次函数情形 最速下降法表示为 Kantorovich不等式 定理（最速下降法—二次情形） 定理： 条件数 非二次情形 结论：在相继两次迭代中,梯度方向互相正交. 牛顿法 基本思想:用一个二次函数去近似目标函数f(x),然后精确地求出这个二次函数的极小点. ----一维搜索函数逼近法中的牛顿法的推广. 牛顿方向 定理： 步骤: 用Newton法求解无约束问题会出现以下情形： （1）收敛到极小点。 （2）收敛到鞍点。 （3）Hesse矩阵不可逆，无法迭代下去。 优点:（1）Newton法产生的点列{x(k)}若收 敛，则收敛速度快---具有至少二阶收敛速率。 (2) Newton法具有二次终止性。 缺点: （1）可能会出现在某步迭代时，目标函数值上升. （2）当初始点远离极小点时，牛顿法产生的点列可能不收敛，或者收敛到鞍点，或者Hesse矩阵不可逆，无法计算. （3）需要计算Hesse矩阵的逆矩阵，计算量大. 步骤: 阻尼牛顿法 用阻尼牛顿法求解下列问题: 步骤: 修正牛顿法 共轭方向法 共轭方向 定义： 例： 定理1 证明： 定理2： 证明： 定理3： 定理（扩