非线性共轭梯度法的文献综述.docVIP

PAGE 1 非线性共轭梯度法的文献综述研究 摘要：共轭梯度法最早是由Hestenes和Stiefel于1952年提出来的，用于解正定系数矩阵的线性方程组，在这个基础上，Fletcher和Reeves于1964年首先提出了解非线性最优化问题的共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，于是，共轭梯度法的理论研究受到了人们的关注，现在共轭梯度法已经广泛地应用与实际问题中。 关键词：共轭梯度法，非线性最优化，线性搜索，收敛性 1.共轭梯度法 共轭梯度法最早是由计算数学家Hestenes和几何学家Stiefel在20世纪50年代初为求解线性方程组 而独立提出的。他们奠定了共轭梯度法的基础，他们的文章详细讨论了求解线性方程组的共轭梯度法的性质以及它和其他方法的关系。当对称正定时，上述线性方程组等价于最优化问题 基于此，Hestenes和Stiefel的方法可视为求解二次函数极小值的共轭梯度法。1964年，Fletcher和Reevse将此方法推广到非线性优化，得到了求一般函数极小值的共轭梯度法。 而本书中，戴彧虹和袁亚湘介绍了多种类型的共轭梯度法，各方法的区分主要在于每次迭代的方向上，并且他们检验了每种方法在不同搜索下的全局收敛性。在他们的研究中，目标函数连续可微有下界，导数满足Lipschitz条件，他们通过对Zoute