第五章常用无约束最优化方法讲解.ppt

第五章 常用无约束最优化方法 本章开始讨论多维无约束最优化问题 （5.1） 其中 ．这个问题的求解是指，在 中找一点 ，使得对于任意的 都有 （5.2） 成立，则点 就是问题（5.1）的全局最优点．但是，大多数最优化方法只能求到局部最优点，即在 中找到一点 ，使得式（5.2）在 的某个领域中成立．这个矛盾对于实际问题一般容易解决．根据问题的实际意义多半可以判定用优化方法求出的局部最优解是否为全局最优解．而在理论上这是个比较复杂的问题，本书不涉及． §5.1 最速下降法 对于问题（5.1）为了求其最优解，按最优化算法的基本思想是从一个给定的初始点 出发，通过基本迭代格式 ，按照特定的算法 产生一串点列 ，如果点列收敛，则该点列的极限点为问题（5.1）的最优解． 在基本迭代格式 中，每次迭代搜索方向 取为目标函数 的负梯度方向，即 ，而每次迭代的步长 取为最优步长，由此所确定的算法 称为最速下降法． 为了求解问题（5.1），如图5.1所示，假定我们 已经迭代了 次，获得了第 个迭代点 ．现在从 出发，可选择的下降方向很多，一个非常自然的想法是沿最速下降方向（即负梯度方向）进行搜索应该是有利的，至少在 邻近的范围内是这样。因此，取搜索方向为 。 为了使目标函数在搜索方向上获得最多的下降，沿 进行一维搜索，由此得到第 个迭代点，即 ，其中步长因子 按下式确定 也可记为 （5.3） 显然，令 就可以得到一个点列 ， 其中 是初始点，由计算者任意选定．当 满足一定的 条件时，由式（5.3）所产生的点列 必收敛于的极小点． 以后为书写方便，记 ． 因此， 在不发生混淆时，再记 ． 二、最速下降法迭代步骤 已知目标函数 及其梯度 ，终止限 、 和 ． （1）选定初始点 ，计算 ， ；置 ． （2）作直线搜索： ；计算 ． （3）用终止准则检测是否满足：若满足，则打印最优解 ， 停机；否则，置 转（2）． 最速下降法算法流程如图5.2所示． 将最速下降法应用于正定二次函数 （5.4） 可以推出显式迭代公式． 设第 次迭代点为 ，我们来求 的表达式． 对式（5.4）关于 求梯度，有