新的非线性共轭梯度法及其收敛性.docxVIP

浙江大学硕士学位论文 第1章综述 3 其中文+，是搜索方向，毂=vf(xk)，级是实数。我们称(1．1．2)和(1．1．13)式为捃应的共 轭梯度法。随着仇的变化可以得到不同的共轭梯度法，本文中我们简称由仇确定的共 轭梯度法为仇方法。其中比较常见的几种方法如下： (1)FR方法： 矿=雠．(1．1．14) FR方法是最早的非线性共轭梯度法，它是由Fletcher和R篦v签【10】在1964年将求解线 性方程阻的共轭梯度法推广用于解优化问题(1．1．3)而得的。 关于FR方法的收敛性分析，Zoutendijk【29】在1970年证明了在精确线性搜索下 FR方法对一般非凸函数总是收敛的，A1一Bani【11在1985年给出了FR方法在强Wolfe 准则下当仃；1时满足下降条件(1．1．11)，且是全局收敛的，后来Han和Ym【14】在 1985年又将A1一Ba】1i的结果推广到口=；1的情形。Dai和Yuan【刁在1996年给出了当 盯=1时FR方法不收敛的反例。由于FR方法形式简单，所以仍被使用，但是FR方法 在实际计算中可能会产生小步长的性质，故人们开始寻找其它更有效的方法。 PRP方法： 雎肚=锋， (11．15) 其中Yk=鲰+1一gk。PRP方法是Polak和Ribiere【24】和P01yak【25】在1969年独立提出的一种非线性共轭梯度法。 关于PRP方法的收敛性分析，Powell【21】在1977年证明了在精确线性搜索下，对一致凸函数是全局收敛的，但是PoweU【22】在1984年举出了三维情况下对一般函数不收敛的反例。在非精确线性搜索下，Dai【3】在1997年举例说明即使，(z)是一致凸函数，PI口方法仍然可能不收敛。因此PoweU【23】在1986年中提出了限制PRP方法，即 鼠=max{筐RP，o} (1．1．16) 这样做的目的是避免当Il如0很大时，相邻两个搜索方向会趋于相反。Grippo和Lucidi 【12】在1997年设计了一种hImijo型的线性搜索，并证明在此搜索下PRP方法对一般非 凸函数是全局收敛的。PRP方法可以避免FR方法产生小步长的缺点，当算法产生小步长时，PRP方法定义的方向dk自动靠近负梯度方向，因此PRP方法是目前数值表现最好的共轭梯度法之一。 (3)I-IS方法： 8砺gT+ly‘， (1-1·17) 浙江大学硕士学位论文 第1章综述 4 HS方法是由Hestenes和Stiefel【13】于1952年提出的。I-IS方法与PRP方法的不同之 处在于，不论线性搜索是否精确，共轭关系式耀．1讥=0恒成立。但是I-IS方法的理论 性质和计算表现与PRP方法基本相同【36]。 以上几种经典方法的收敛性分析已经十分成熟，其中强Wolfe准则往往是需要的，并且下降条件(1．1．11)要假设成立的(方法本身不具有此条件)。Dai和Yuan【5】1995年提出了一种新的共轭梯度法，此方法满足下降条件(1．1．11)，并且在标准的Wolfe准则下是全局收敛的。Hager和Zhang【15】在2005年提出的另一种新的共轭梯度法(简称Hager-Zhang方法)，方法满足充分下降条件(1．1．12)，并且在标准的Wolfe准则下是全局收敛的。数值实验表明这两种方法都是有效的。从而带动人们寻找其它下降的且在弱条件下也收敛的共轭梯度法。 随着共轭梯度法的研究不断成熟，人们开始把各种方法结合起来共同研究，以便更加统一地讨论其性质。Dai和Yuan【8】8在1998年中提出了一种单参数共轭梯度法族，并在推广的Wolfe准则下讨论了其收敛性。Nazareth【20】于1999年结合FR方法，PI冲方法，HS方法，DY方法提出了一种双参数共轭梯度法族。Dai和Yuan在【9】同时又提出了一种三参数共轭梯度法族。 本文中，我们对Hager-Zhang方法做修改得到了一种特殊的共轭梯度法，数值试验表明这种方法是有效的。另外我们用修改的割线条件【34】修改新得到的方法，提出了另一种共轭梯度法，这种方法具有目标函数的二阶曲率信息，因此理论上有更好的数值效果。以上两种方法都具下降性质，并且在标准的Wolfe准则下是全局收敛的。 第2章下降的非线性共轭梯度法及其全局收敛性 §2．1引言 考虑下面无约束优化问题(1．1．1)： 嬲m)，：彤一R- 群沃t-还叫题明儿柙经具共现佛度痃如F： 口kFR=雠， 口kPRP=篮Ila业kll：- 卢．H，S--订g五+瓦lYk， 其中Yk=矶+1一gk，”II表示欧氏范数。在讨论这几种方法的收敛性分析时，强Wolfe 准则(1．1．8)和(1．1．9)往往是不可缺少的，另外下降条件(1．1．11)要假设成立的(方法本 身不具有此条件)。最近人们又提出几种新的下降的共轭梯度方法