BFGS优化算法及应用实例.docxVIP

— PAGE \* Arabic 1 — BFGS优化算法及应用实例 目录  1、引言 (1)  2、BFGS算法综述 (1)  2.1 拟牛顿法及其性质 (1)  2.2 BFGS算法 (3)  3、数值实验 (6)  3.1 代码实现 (6)  3.2 算法测试 (7)  3.3 结果分析 (8)  4、总结 (8)  4.1 总结概括 (8)  5、  1、引言  在最优化的问题中，线性最优化至少可以使用单纯形法求解，但对于非线性优化问题，牛顿法提供了一种求解的办法。牛顿法的优点是具有二次收敛速度，但是当Hesse 矩阵2=)k k G f x ?（不正定时，不能保证所产生的方向是目标函数在  k x 处的下降方向。特别地，当k G 奇异时，算法就无法继续进行下去，尽管修正  的牛顿法可以克服这一缺点，但修正参数的选取很难把握，过大或过小都会影响到收敛速度，此外，牛顿法的每一迭代步都需要目标函数的二阶导数，即Hesse 矩阵，对于大规模问题，其计算量是惊人的。由此引出了一种新的求解非线性优化问题的方法——拟牛顿法。  拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne 国家实验室的物理学家W. C. Davidon 所提出来。Davidon 设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher 和M. J. D. Powell 证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。在之后的20年里，拟牛顿方法得到了蓬勃发展，出现了大量的变形公式以及数以百计的相关论文。其中BFGS 就是拟牛顿法中的一种方法。  2、BFGS 算法的综述   2.1拟牛顿法及其性质  拟牛顿法的基本思想是在牛顿法的第二步中用Hesse 矩阵2=)k k G f x ?（的某个近似矩阵k B 取代k G 。通常，k B 应具有以下三个特点：  （1）在某种意义下有k k B G ≈，使得相应的算法产生的方向近似于牛顿方向，以确保算法具有较快的收敛速度；  （2）对所有的k ，k B 是对称正定的，从而使得算法所产生的方向是函数f 在  k x 处下降方向；   （3）矩阵k B 更新规则相对比较简单，即通常采用秩1或秩2矩阵进行校正。 下面介绍满足这三个特点的矩阵k B 的构造，设:n f → 在开集n D ? 上  二次连续可微，那么f 在1k x +处二次近似模型为  1111111()()(()()()2  k k T  k k T k k f x f x g x x x x G x x ++++++≈+-+--）（2.1）  对上式求导得  111()()k k k g x g G x x +++≈+-（2.2）  令k x x =，位移1k k k s x x +=-，梯度差1k k k y g g +=-，则有  1k k k G s y +≈（2.3）  注意到对于二次函数f ，上式是精确成立的。现在，要求在拟牛顿法中构造Hesse 矩阵的近似矩阵k B 满足这种关系式，即  1k k k B s y +=（2.4）  式（2.4）通常称为拟牛顿方程或拟牛顿条件。令111k k H B -++=，则得到拟牛顿方程  的另一种形式：  1k k k H y s +=（2.5）  其中1k H +为Hesse 矩阵逆的近似。搜索方向由k k k d H g =-或k k k B d g =-确定。根据k B （或k H ）的第三个特点，可令  1k k k B B E +=+，1k k k H H D +=+（2.6）  其中k E ，k D 为秩1或秩2矩阵，通常将拟牛顿方程（2.4）（或（2.5））和校正规则（2.6）所确立的方法称为拟牛顿法。  下面介绍一对称秩1校正公式。在（2.6）中取()k k T k E u u α=（秩1矩阵），其中  ,k n u α∈∈ .由拟牛顿方程（2.4）得  [()]k k T k k k B u u s y α+=（2.7）  即有  [()]k T k k k k k u s u y B s α=-（2.8）  式（2.8）表明向量k u 平行k k k