关于无约束优化各种方法.ppt

Thank you x 1 x 2 x 0 o e 1 e 2 d 1 d 2 x * 1 沿d2作一维搜索得点x2 。 即是二维问题的极小点 x* 。 方法的基本迭代格式包括共轭方向产生和方向替换两主要步骤。 2.基本算法 要点： 在每一轮迭代中总有一个始点和n个线性独立的搜索方向。从始点出发顺次沿n个方向作一维搜索得一终点，由始点和终点决定了一个新的搜索方向。 用这个方向替换原来n个方向中的一个，于是形成新的搜索方向组。 鲍威尔基本算法 替换的原则: 去掉原方向组的第一个方向而将新方向排在原方向的最后。 规定: 从这一轮的搜索终点出发沿新的搜索方向作一维搜索而得到的极小点，作为下一轮迭代的始点。 这样就形成算法的循环。 鲍威尔基本算法 例1、用鲍威尔分析函数 的极小值，起始点[0，0]T。 （板书） 鲍威尔基本算法 上述基本算法仅具有理论意义 : 如果需要替换，还要进一步判断原向量组中哪个向量最坏，然后再用新产生的向量替换这个最坏的向量，以保证逐次生成共轭方向。 3.改进的鲍威尔方法 在改进的算法中首先判断原向量组是否需要替换。 为此，要解决两个关键问题： （1）dk＋1是否较好？是否应该进入新的方向组？即方向组是否进行更新？ （2）如果应该更新方向组， dk＋1不一定替换方向 ，而是有选择地替换某一方向 。 3.改进的鲍威尔方法 令在k次循环中 （ ） 分别称为一轮迭代的始点、终点和反射点 。 3.改进的鲍威尔方法 则在循环中函数下降最多的第m次迭代是 记： 相应的方向为 。 因此 3.改进的鲍威尔方法 为了构成共轭性好的方向组，须遵循下列准则, 在k次循环中，若满足条件： 和 则选用新方向dk，并在第k+1迭代中用dk替换对应于 的方向 。否则，仍然用原方向组进行第k+1迭代。 3.改进的鲍威尔方法 例4-5 用改进的鲍威尔法求目标函数 解：（1）第1轮迭代计算 ， 沿e1方向进行一维搜索 。 的最优解。已知初始点[1,1]T，迭代精度 例4-5 用改进的鲍威尔法求目标函数 ， 沿e1方向进行一维搜索 得 以 为起点，沿第二坐标轴方向 e2 进行一维搜索 得 确定此轮中的最大下降量及其相应方向 反射点及其函数值 ， ， 检验Powell条件 由于满足Powell条件，则淘汰函数值下降量最大的方向e1，下一轮的基本方向组为e2， 。 构成新的方向 沿 方向一维搜索得极小点和极小值 ， 此点为下轮迭代初始点。 按点距准则检验终止条件 需进行第二轮迭代计算。 （2）第2轮迭代计算 此轮基本方向组为e2， ，分别相当于 ， ，起始点为 ＝ 。 沿e2方向进行一维搜索得 以 为起点沿 方向一维搜索得 构成新的方向 （2）第2轮迭代计算 求反射点及其函数值 检验Powell条件。 沿 方向进行一维搜索得 确定此轮中函数值最大下降量及其相应方向 检验终止条件 （3）第3轮迭代计算 此轮基本方向组为 ， ，起始点为 ＝ ，先后沿 ， 方向，进行一维搜索，得 ， ， 故最优解 检验终止条件 实际上，前两轮迭代的 ， 为共轭方向，由于本例目标函数是二次函数，按共轭方向的二次收敛性，故前两轮的结果就是问题的最优解，但每一轮迭代都需要进行n+1次迭代。 3.改进的鲍威尔方法 表1 无约束优化方法搜索方向之间的相互联系 ——间接法 搜索方向 函数梯度的修正因子 所用目标函数信息 梯度法 I（单位阵） 一阶导数 （阻尼）牛顿法 二阶导数 共轭梯度法 一阶导数 变尺度法 一阶导数，使 （海赛矩阵的逆阵） 无约束优化方法——间接法总结 1、梯度法 方向 负梯度 用到一阶导数 适合于精度不高或用于复杂函数寻找一个好的初始点 2、牛顿法 用到一阶导数和海色矩阵，具有二次收敛性 要求海色矩阵非奇异，且维数不宜太高 3、共轭梯度法 用到一阶导数，具有二次收敛性 4、变尺度法 收敛快，效果好，被认为是目前最有效的无约束优化方法。适用于维数较高，具有一阶偏导数的目标函数 1、坐标轮换法 计算效率较低 适合维数较低，目标函数无导数或导数较 难求得 2、Powell法 具有二次收敛性，收敛速度较快，可靠性高，被认为