最优化文献综述.ppt

开始 BFGS算法 退出 报告人：李宗真 解决的问题 拟牛顿主要构成 Broyden秩一校正公式 对称秩一校正公式 DFP校正公式 BFGS校正公式 PSB校正公式等 研究背景 BFGS校正是由 Broyden,Fletcher,Goldfarb和Shanno在1970年各自独自提出的拟牛顿法，所以叫做BFGS算法，它是目前最流行的方法 研究现状 在近二十年里对 BFGS 算法的研究主要集中在以下两方面： 一是希望通过对拟牛顿方程的修正从而得到一种既有好的收敛性质，又在数值表现上比传统的 BFGS 算法更优的算法，二是对 BFGS 算法的校正公式进行改进 优点与缺点 优点：高收敛速度；收敛速度快、算法稳 定性强、编写程序容易、 BFGS算法要比DFP算法具有更好的数值稳定性 缺点：都需要计算和存储矩阵，这难以用于求解大型问题 BFGS算法 一.概述： BFGS与DFP十分类似，是另一种秩-2更新，以其发明者Boyden, Fletcher, Goldfarb和Shanno的姓氏首字母命名。BFGS 也属于拟牛顿方法的一种。但是它DFP更加有效。 二.公式： 对于无约束优化问题 ，利用拟牛顿法求解，一般采用公式如下 ，其中 为步长，可以采用精确的线性搜索或类似如下的不精确线搜索加以确定： BFGS算法 其中 ， 表示函数在 处的梯度， 为当前的搜索方向，可取 式中 为函数的Hesse阵的近似，且有如下的迭代公式 式（3）即为拟牛顿算法中的有名BFGS公式。 BFGS算法 三. 特点： 显然每次迭代式中利用式（2）来确定下降搜索方向，要解线性方程组 解线性方程组（4）所需的计算量为 。从减少计算量的角度考虑，人们往往利用逆矩阵的修正公式产生 ，于是只需计算 ，相应的计算量为 但是经过这样的处理，计算数值稳定性往往要比直接利用公式（3）修正 差得多。 BFGSS算法是目前解决无约束优化问题的公认的有效算法之一。 四. 应用举例: 用拟Newton法求解： 初始点 解：取定初始对称矩阵 ，第一次迭代得 ，经过一维搜索得 ， 同DFP法， 初始修正矩阵 BFGS算法 BFGS算法 第二次迭代： 经过一维搜索得 ， 故最优解： 他人的工作