第五章常用无约束最优化方法综述.pptVIP

第五章 常用无约束最优化方法; 无约束优化方法是优化技术中极为重要和基本的内容之一．它不仅可以直接用来求解无约束优化问题，而且很多约束优化问题也常将其转化为无约束优化问题，然后用无约束优化方法来求解．另外，有些无约束优化方法只需略加处理，即可用于求解约束优化问题． 无约束优化理论发展较早，比较成熟，方法也很多，新的方法还在陆续出现．把这些方法归纳起来可以分成两大类：一类是仅用计算函数值所得到的信息来确定搜索方向，通常称它为直接搜索法，简称为直接法，另一类需要计算函数的一阶或二阶导数值所得到的信息来确定搜索方向，这一类方法称为间接法（解析法）．直接法不涉及导数、Hesse矩阵，适应性强，但收敛速度较慢；间接法收敛速度快，但需计算梯度，甚至需要计算Hesse矩阵．一般的经验是，在可能求得目标函数导数的情况下还是尽可能使用间接方法；相反，在不可能求得目标函数的导数或根本不存在导数的情况下，当然就应该使用直接法． ; 对于问题（5.1）为了求其最优解，按最优化算法的基本思想是从一个给定的初始点 出发，通过基本迭代格式 ，按照特定的算法 产生一串点列 ，如果点列收敛，则该点列的极限点为问题（5.1）的最优解． 在基本迭代格式 中，每次迭代搜索方向 取为目标函数 的负梯度方向，即 ，而每次迭代的步长 取为最优步长，由此所确定的算法 称为最速下降法． 为了求解问题（5.1），如图5.1所示，假定我们 已经迭代了 次，获得了第 个迭代点 ．现在从 出发，可选择的下降方向很多，一个非常自然的想法是沿最速下降方向（即负梯度方向）进行搜索应该是有利的，至少在 邻近的范围内是这样。因此，取搜索方向为 。 ; 为了使目标函数在搜索方向上获得最多的下降，沿 进行一维搜索，由此得到第 个迭代点，即 ，其中步长因子 按下式确定 也可记??? （5.3） 显然，令 就可以得到一个点列 ， 其中 是初始点，由计算者任意选定．当 满足一定的 条件时，由式（5.3）所产生的点列 必收敛于的极小点． 以后为书写方便，记 ． 因此， 在不发生混淆时，再记 ．; 二、最速下降法迭代步骤 已知目标函数 及其梯度 ，终止限 、 和 ． （1）选定初始点 ，计算 ， ；置 ． （2）作直线搜索： ；计算 ． （3）用终止准则检测是否满足：若满足，则打印最优解 ， 停机；否则，置 转（2）． 最速下降法算法流程如图5.2所示． 将最速下降法应用于正定二次函数 （5.4） 可以推出显式迭代公式． 设第 次迭代点为 ，我们来求 的表达式． 对式（5.4）