无约束最化方法.ppt

第5章 无约束最优化方法 主要内容 无约束最优化问题的求解方法：解析法和直接法。 解析法需要计算函数的梯度，直接法仅通过比较目标函数值的大小来移动迭代点。 一般来说，无约束最优化问题的求解是通过一系列一维搜索来实现。 如何选择搜索方向是求解无约束最优化问题的核心问题，搜索方向的不同选择，形成不同的求解方法。 5.1最速下降法 由定理5-1知，在最速下降法中，前后两次的搜索方向垂直（见图5-1）。 锯齿形的搜索轨迹使最速下降法效率低下。 最速下方向反映了目标函数的一种局部性质。从局部看，最速下降方向的确是函数值下降最快的方向，选择这样的方向进行搜索是有利的， 从全局看，由于锯齿现象的出现，当在极小点附近时，即使向着极小点移动不太大的距离，也要经历不少的弯路，从而使收敛速度大为减慢。 最速下降法不仅简单，而且具有全局收敛性，并且是线性收敛的。 为避免锯齿现象对收敛速度的影响，在计算初期可使用最速下降法，在迭代一段时间以后，改用其它更有效的方法，如牛顿法等。 对一般的下降算法，只要搜索方向与迭代点处的负梯度方向的夹角小于90°，使用精确一维搜索和不精确一维搜索在一定的条件下，可以证明下降算法具有全局收敛性。 5.2共轭梯度法 共轭梯度法最初由Hesteness和Stiefel于1952年为求解线性方程组而提出，1964年Fietcher和Reever在此基础上，首先提出了求解无约