关于无约束优化各种方法.pptVIP

第四章 无约束优化方法 4-1 最速下降法 4-2 牛顿类方法 4-3 坐标轮换法 4-4 共轭方向法 4-5 鲍威尔方法 第四章 无约束优化方法 为什么要研究无约束优化问题? （1）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （2）约束优化问题的求解可以通过一系列无约束优化方法来达到。 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 根据一元函数极值的必要条件及复合函数求导公式得 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 §4-1 最速下降法 梯度法的特点 （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。 （3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，远快近慢。 （4）梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。 梯度法应用的一个实例： 4-2 牛顿类方法 4-2 牛顿类方法 4-2 牛顿类方法 4-2 牛顿类方法 （1） 初始点应选在X*附近，有一定难度； （2） 尽管每次迭代都不会是函数值上升，但不能保证每次下降 ； （3） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； ??（4）?不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的F(X)也不适用。 特定条件下它具有收敛最快的优点 牛顿法和变尺度法 §3.5 牛顿法和变尺度法 §3.5 牛顿法和变尺度法 §3.5 牛顿法和变尺度法 变尺度法 §4-3 坐标轮换法 由于直接搜索是通过大量试验结果相比较而得最优解，因此计算时间比较长，且随着设计变量的增多，计算时间增加得很快。 §4-3 坐标轮换法 §4-3 坐标轮换法 §4-3 坐标轮换法 坐标轮换法 4-4 共轭方向法 4-4 共轭方向法 4-4 共轭方向法 4-4 共轭方向法 4-4 共轭方向法 如果能够选定这样的搜索方向，那么对于二元二次函数只需顺次进行d0、d1两次直线搜索就可以求到极小点x* ，即有 4-4 共轭方向法 4-4 共轭方向法 4-4 共轭方向法 3.共轭梯度法 共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。 从xk出发，沿负梯度方向作一维搜索: 3.共轭梯度法 3.共轭梯度法 则： 3.共轭梯度法 3.共轭梯度法 3.共轭梯度法 4-5 鲍威尔方法 鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。 基本思想是直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。 4-5 鲍威尔方法 梯度和等值面相垂直的性质, dj和 xk, xk+1两点处的梯度gk,gk+1之间存在关系: 4-5 鲍威尔方法 2.基本算法 二维情况描述鲍威尔的基本算法: 2.基本算法 2.基本算法 2.基本算法 要点： 在每一轮迭代中总有一个始点和n个线性独立的搜索方向。从始点出发顺次沿n个方向作一维搜索得一终点，由始点和终点决定了一个新的搜索方向。 用这个方向替换原来n个方向中的一个，于是形成新的搜索方向组。 替换的原则: 去掉原方向组的第一个方向而将新方向排在原方向的最后。 规定: 从这一轮的搜索终点出发沿新的搜索方向作一维搜索而得到的极小点，作为下一轮迭代的始点。 这样就形成算法的循环。 为此，要解决两个关键问题： （1）dk＋1是否较好？是否应该进入新的方向组？即方向组是否进行更新？ 则在循环中函数下降最多的第m次迭代是 例4-5 用改进的鲍威尔法求目标函数 例4-5 用改进的鲍威尔法求目标函数 （2）第2轮迭代计算 （2）第2轮迭代计算 检验终止条件 实际上，前两轮迭代的 ， 为共轭方向，由于本例目标函数是二次函数，按共轭方向的二次收敛性，故前两轮的结果就是问题的最优解，但每一轮迭代都需要进行n+1次迭代。 无约束优化方法——间接法总结 1、梯度法 方向 负梯度 用到一阶导数 适合于精度不高或用于复杂函数寻找一个好的初始点 2、牛顿法 用到一阶导数和海色矩阵，具有二次收敛性 要求海色矩阵非奇异，且维数不宜太高 3