强WolfePowell条件下的改进DY共轭梯度算法.docVIP

强Wolfe-Powell条件下改进DY共轭梯度算法 糜利栋 姜汉桥 李俊键 （中国石油大学，北京 102249） 摘要：本文针对无约束最优化问题提出了一种新的改进算法。对Dai-Yuan共轭梯度法通过利用进退法和强Wolfe-Powell非精确线搜索条件获得新的步长，此算法同时满足了共轭条件和充分下降条件。使得在迭代初始值不太好的情况下也能保证全局收敛性，同时加快收敛速度。通过和两种改进的最速下降法进行了比较，数值实验的计算结果也表明该算法具有较好的收敛效果。 关键词：无约束优化、共轭梯度法、Wolfe-Powell、全局收敛性 中国分类号：+O110.7480 文献标识码：A A Modification of the Dai-Yuan Conjugate Gradient Algorithm with strong Wolfe-Powell condition MI Li-dong JI Han-qiao LI Jun-jian (China Univercity of Petroleum,Beijing 102249) Abstract: A new algorithm is presented based on unconstrained optimization problems. Using the strong Wolfe-Powell inexact line search and the method of advance and retreat, a new stepfor the Dai-Yuan conjugate gradient algorithm is obtained and also the algorithm satisfies both the sufficient descent and conjugacy condition. A global convergence result and a fast convergence speed are proved when the initial value is not very well. By comparing the results between this new conjugate gradient algorithm and other two modification Steepest Descent methods, it shows that the new conjugate gradient algorithm have favorable convergence effect. Keywords: Unconstrained Optimization, Conjugate Gradient Method, Strong Wolfe-Powell, Global convergence 1 引言 无约束最优化方法的核心问题是选择搜索方向。经过多年的发展，不同学者对搜索方向提出了多种改进方案。早在1847年法国数学家Cauchy提出了最速下降法，后来Curry等人做了进一步研究。现在最速下降法已经成为众所周知的一种基本算法，它对其他算法的研究也有启发作用。在最速下降法的基础上，1952年，Hesteness和Stiefel为求解线性方程组提出了共轭梯度法。后来人们把这两种方法用于求解无约束最优化问题。随着实际问题的需要以及算法的局限性，人们对这两种算法进行了不断的改进，比如在最速下降法中，人们根据实际问题的需要选择不同的步长，而提高收敛速度；对于共轭梯度法，由于其有较快的收敛速度和二次终止性等优点，并且计算简便，存储量比较小，非常适合大规模优化问题的求解，在石油勘探、大气模拟、航天航空等领域都有比较广泛的应用，所以我们有必要对其进一步研究，近几年，人们通过引入混合共轭梯度法，固定步长策略以及非单调搜索等对其改进。本文引入了一种同时满足充分下降和共轭条件的共轭梯度法，并通过实例计算和针对一种新步长最速下降法[1] 进行了比较。 2 问题描述 考虑无约束最小化问题： （1） 其中是连续可微函数，梯度函数用表示。共轭梯度法求解（1）的常用迭代格式为： （2） （3） 其中为搜索方向；是搜索步长，为参数。的不同选择产生了不同的共轭梯度法。著名的公式有： 这几个公式在某些线搜索下的全局收敛性已