拟牛顿法的研究现状文献综述.pdfVIP

拟牛顿法的研究现状 文献综述 姓名 : 孟媛媛 学号： 112111215 指导老师：肖伟 前言 求解非线性方程组 F(x ) 0 的方法有很多， 最速下降法具有结构简单， 计算量小的优点， 但是它的收敛速度 较慢；牛顿法及其改进牛顿法， 虽然收敛速度快， 但在迭代过程中的每一步构造 搜索方向时， 首先要计算目标函数的 Hessian矩阵，然后需要解一个线性方程组， 计算工作量很大，这就抵消了牛顿法收敛速度快的优点。 为了克服牛顿法的缺点， 人们提出了拟牛顿法， 拟牛顿法在构造搜索方向时， 只需要利用目标函数及其一 阶导数的信息，避免了 Hessian矩阵的计算，减少了计算量，并且具有超线性收 敛的优点， 经理论证明和实践检验， 拟牛顿法已经成为一类公认的比较有效的算 法 . 拟牛顿法 一、求解非线性方程组的拟牛顿法 n n 设 F ： 是连续可微映射．考虑下面的非线性方程组： R R F (x) 0 (1.1) 牛顿法是求解方程组 (1.1) 的经典的方法之一，其迭代格式为： 1 xk 1 xk dk ， dk F ( xk ) F (xk ) ， 其中 F (xk ) 是 F 在 xk 处的 Jacobian 阵.牛顿法的一个显著优点就是具有局部的 超线性甚至二阶收敛速度， 由于牛顿法这一优点， 使其成为颇受欢迎的算法之一， 然而，当 Jacobian矩阵 F (xk ) 奇异时， 牛顿方向可能不存在． 克服牛顿法的这一 缺陷的一个主要途径就是采用拟牛顿法，其基本思想是利用某个矩阵 Bk 作为 F (xk ) 的近似取代 F ( xk ) .拟牛顿法的一般格式为： xk 1 xk k d k ， (1.2) 1 d k Bk F ( xk ) ， (1.3) 其中 k 是步长，通常由某种线性搜索确定 . k 是 F ( k ) 的近似，它满足下面的 B x 拟牛顿方程： k 1 k ( y ) ， (1.4) B s k 其中 yk F ( k 1) F ( k ), k k 1 k .注意到 yk F ( k 1) k ，因此， Bk 1 与 x x s x x x s F ( k 1) 沿方向 k 很接近 .拟牛顿矩阵 k 1 的不同的校正公式导致不同的拟牛顿 x