第四章 无约束优化方法讲解.pptVIP

1、坐标轮换法 计算效率较低 适合维数较低,目标函数无导数或导数较难求得情况 3、Powell法 具有二次收敛性，收敛速度较快，可靠性高，被认为是直接法中最有效的方法之一 无约束优化方法——直接法总结 常用无约束优化方法的特点及选用 一、无约束优化方法的选用原则 1．可靠性 满足合理的求解精度的条件下，在一定时间内，求解具体优化问题的成功率。 2．有效性 对于同一问题，在同样条件（初始点相同、精度相等）下，目标函数的求值、求导次数应当最少。 3．编程简单、占用存储单元量少。 基于上述3个方面，一般来说： 1、对于低维优化问题（即小型优化问题），采用较简单的直接法为宜。 2对于维数较高的优化问题，采用间接法（解析法）更为有利。 二、 常用无约束优化方法的比较 无约束优化方法 基本原理 特 点 应用场合 直接法 坐标轮换法 每次只变动1个变量，而其余n-1个变量保持不变 化多维问题为一系列一维问题。算法简单，易于掌握，但收敛速度较慢 维数n 10；目标函数不可导或不易求导。目标函数的等值线类似于椭圆（椭球体），且长短轴平行于坐标轴。 Powell法 先用坐标轮换法迭代，以其最后的极小点与始点构成的方向作为最后一个新方向，并去掉第一个方向 共轭方向d1、d2满足：d1TAd2=0，收敛速度比坐标轮换法快，可靠性较好 不需要求偏导数，目标函数比二次函数复杂。适用于小型或一些中型问题 间接法 梯度法 取负梯度方向为搜索方向 迭代过程简单，对初始点的要求不高。但收敛速度较慢 等值线接近于圆；精度要求不高，作为其他优化方法的初始方法 牛顿法 梯度法的发展。取目标函数Taylor展开式的前3项（二次函数）的极小点作为目标函数的近似极小点 收敛速度比梯度法快得多。但对于初始点的要求高，计算Hessian矩阵及其逆矩阵的工作量大 目标函数存在2阶导数，维数不太高。很少单独使用 1．梯度法、牛顿法、区别在于：怎样构造使目标函数值下降的搜索方向，其他则基本相同。 2．Powell法、最可靠的无约束优化方法。Powell法的计算速度比慢些， 但Powell法不必计算目标函数的导数，这对于工程上许多优化问题很重要。 坐标轮换法 （1）计算简单，程序简单，不需要求函数导数的直接探索目标函数最优解的方法；但收敛慢，以振荡方式逼近最优点。 （2）探索路线较长，问题的维数愈多求解的效率愈低。当维数n＞10时,维数增加时,效率明显下降,则不应采用此法。仅适用于n较少（n 10）的目标函数求优。 （3）受目标函数的性态影响很大。改变初始点重新迭代，可避免出现病态。 从上述分析可以看出，采用坐标轮换法只能轮流沿着坐标方向搜索，尽管也能使函数值步步下降，但要经过多次曲折迂回的路径才能达到极值点；尤其在极值点附近步长很小，收敛很慢，所以坐标轮换法不是一种很好的搜索方法。但是，在坐标轮换法的基础上可以构造出更好的搜索策略，下面讨论的模式搜索法和鲍威尔（Powell）方法就属于这种情况。 坐标轮换法方法特点 二、模式搜索法 从上面我们可以看出，在沿着坐标进行了一轮搜索后，如果沿着x0k、 xnk所定义的方向Sk= xn(k)- x0(k)进行一次寻优，将大大提高坐标轮换法寻优的速度，这种寻优方法的基本原理如图4-7所示。 图4-7 模式搜索法 按照上述的寻优原理，模式搜索法的基本寻优步骤如下： 1)选定初始点x0(1)，步长h，计算精度ε和迭代轮数k=1； 2)从x0(k)开始，进行坐标轮换搜索，求出xn(k)； 3)判断 “是”则收敛，输出x*=xn(k) 。否则，计算方向 ，沿sk方向进行一维寻优，得新的寻优起点 ，令k=k+1，转入步骤2。 从上面的分析可以看出，模式搜索法是对坐标轮换法的一种改进，它改变了完全沿着坐标方向寻优的模式，可以较好的提高计算速度，并利用已有的计算信息。 § 4-5 鲍威尔方法 鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。1964年，鲍维尔提出这种算法，其基本思想是:直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。 这种方法是在研究具有正定矩阵H的二次函数 坐标轮换法的收敛速度很慢，其原因在于搜索方向总是平行于坐标轴，不适应函数的变化情况。共轭方向是在坐标轮换法基础发展起