[理学]最优化理论与方法10.pptVIP

无约束非线性规划 2010-4-22 主要内容（使用导数的方法） 1、最速下降法 2、牛顿法 3、共轭梯度法 4、拟牛顿法 主要内容（不使用导数的方法：直接法） 1、模式搜索法 2、转轴法 3、单纯形搜索法 4、powell方法 最速下降法 问题： 其中函数 具有一阶连续偏导数 算法思想： 希望从某一点出发，选择一个目标函数值下降最快的方向，以利于尽快达到极小点。 函数 在点 处沿方向 的 变化率可用方向导数来表达，对于可微函数，方向导数等于梯度与方向的 内积，即 最速下降方向 ： 最速下降法的迭代公式是： 其中 是从 算法步骤： 结论： 从局部看，最速下降方向确是函数值下降最快的方向。 从全局看，由于锯齿现象的影响，收敛较慢。 所以，最速下降法一般适用于计算过程的前期迭代。 牛顿法 牛顿法的“二次终止性” 设有二次凸函数 求极值： 解析法： 牛顿法： 即1次迭代达到极小点 牛顿法的牛顿方向当初值远离极小点时，迭代点不一定是最好的。因此，可以对牛顿法进行修正，提出阻尼牛顿法。 阻尼牛顿法： 算法步骤： 牛顿法的进一步修正 原始牛顿法和阻尼牛顿法虽然不同，但有共同缺点。 1. 可能出现Hesse矩阵奇异 2. 即使非奇异，也未必正定，因而牛顿方向不一定是下降方向。 例：用阻尼牛顿法求解下列问题 修正方法： 共轭梯度法 无约束最优化方法的核心问题是选择搜索方向。下面讨论基于共轭方向的一种算法—共轭梯度法。 共轭： 设A是nxn对称正定矩阵，若 中的两个方向 和 满足 ，则称这两个方向关于A共轭，或称它们关于A正交。 若 则称这组方向是A共轭的，或称它们为A的k个共轭方向。 定理： 设A是n阶对称正定矩阵， 是k个A共轭的非零向量，则这个向量组线性无关。 定理： 对于二次凸函数，若沿一组共轭方向搜索，经有限步迭代必达到较小点。 FR共轭梯度法思想（Fletcher-Reeves) 使用公式（1）、（2）可以构造一组共轭方向 例： 用于一般函数的共轭梯度法 拟牛顿法 为什么要提出拟牛顿法 1.牛顿法的优点：收敛快 2.牛顿法的缺点：要计算Hesse矩阵的逆 拟牛顿法的核心思想： 构造近似矩阵取代牛顿法Hesse矩阵的逆 针对二次凸函数的FR共轭梯度法 解： * * 例：用最速下降法解问题 最速下降法的锯齿现象 算法思想： *