优化问题实例.pptVIP

优化问题及实例 主讲：匆匆 优化方法 拟牛顿法简介： 拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。在之后的20年里，拟牛顿方法得到了蓬勃发展，出现了大量的变形公式以及数以百计的相关论文。 　　 优化方法 拟牛顿法特点： 与最速下降法(Steepest Descent Methods) 一样只要求每一步迭代时知道目标函数的梯度。 通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。 这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton‘s Method)更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束、约束，和大规模的优化问题。 包括方法：DFP方法，BFGS方法，SR1方法，Broyden族方法。 BFGS算法 一.概述： BFGS与DFP十分类似，是另一种秩-2更新，以其发明者Boyden, Fletcher, Goldfarb和Shanno的姓氏首字母命名。BFGS 也属于拟牛顿方法的一种。但是它DFP更加有效。 二.公式： 对于无约束优化问题 ，利用拟牛顿法求解，一般采用公式如下 ，其中 为步长，可以采用精确的线性搜索或类似如下的不精确线搜索加以确定： BFGS算法 其中 ， 表示函数在 处的梯度， 为当前的搜索方向，可取 式中 为函数的Hesse阵的近似，且有如下的迭代公式 式（3）即为拟牛顿算法中的有名BFGS公式。 BFGS算法 三. 特点： 显然每次迭代式中利用式（2）来确定下降搜索方向，要解线性方程组 解线性方程组（4）所需的计算量为 。从减少计算量的角度考虑，人们往往利用逆矩阵的修正公式产生 ，于是只需计算 ，相应的计算量为 但是经过这样的处理，计算数值稳定性往往要比直接利用公式（3）修正 差得多。 BFGSS算法是目前解决无约束优化问题的公认的有效算法之一。 BFGS算法 四. 应用举例: 用拟Newton法求解： 初始点 解：取定初始对称矩阵 ，第一次迭代得 ，经过一维搜索得 ， 同DFP法， 初始修正矩阵 BFGS算法 第二次迭代： 经过一维搜索得 ， 故最优解： 谢谢！ *