新的非线性共轭梯度法及其收敛性.pdfVIP

浙江大学硕士学位论文 第1章综述 3 轭梯度法。随着仇的变化可以得到不同的共轭梯度法，本文中我们简称由仇确定的共 轭梯度法为仇方法。其中比较常见的几种方法如下： (1)FR方法： 性方程阻的共轭梯度法推广用于解优化问题(1．1．3)而得的。 盯=1时FR方法不收敛的反例。由于FR方法形式简单，所以仍被使用，但是FR方法 在实际计算中可能会产生小步长的性质，故人们开始寻找其它更有效的方法。 (2)PRP方法： 雎肚=锋， (11．15) 出的一种非线性共轭梯度法。 一致凸函数是全局收敛的，但是PoweU【22】在1984年举出了三维情况下对一般函数不 收敛的反例。在非精确线性搜索下，Dai【3】在1997年举例说明即使，(z)是一致凸函 鼠=max{筐RP，o} (1．1．16) 凸函数是全局收敛的。PRP方法可以避免FR方法产生小步长的缺点，当算法产生小步 长时，PRP方法定义的方向dk自动靠近负梯度方向，因此PRP方法是目前数值表现最 好的共轭梯度法之一。 (3)I-IS方法： 8砺gT+ly‘， (1-1·17) 浙江大学硕士学位论文 第1章综述 4 处在于，不论线性搜索是否精确，共轭关系式耀．1讥=0恒成立。但是I-IS方法的理论 性质和计算表现与PRP方法基本相同【36]。 以上几种经典方法的收敛性分析已经十分成熟，其中强Wolfe准则往往是需要的， 提出了一种新的共轭梯度法，此方法满足下降条件(1．1．11)，并且在标准的Wolfe准则 局收敛的。数值实验表明这两种方法都是有效的。从而带动人们寻找其它下降的且在弱 条件下也收敛的共轭梯度法。 随着共轭梯度法的研究不断成熟，人们开始把各种方法结合起来共同研究，以便更 加统一地讨论其性质。Dai和Yuan【8】8在1998年中提出了一种单参数共轭梯度法族， 提出了一种三参数共轭梯度法族。 本文中，我们对Hager-Zhang方法做修改得到了一种特殊的共轭梯度法，数值试 验表明这种方法是有效的。另外我们用修改的割线条件【34】修改新得到的方法，提出了 另一种共轭梯度法，这种方法具有目标函数的二阶曲率信息，因此理论上有更好的数值 效果。以上两种方法都具下降性质，并且在标准的Wolfe准则下是全局收敛的。 第2章下降的非线性共轭梯度法及其全局收敛性 §2．1引言 考虑下面无约束优化问题(1．1．1)： 嬲m)，：彤一R- 群沃t-还叫题明儿柙经具共现佛度痃如F： 口kFR=雠， 口kPRP=篮Ila业kll：- 卢．H，S--订g五+瓦lYk， 身不具有此条件)。最近人们又提出几种新的下降的共轭梯度方法，其搜索步长满足标准 法，其中 卯7=警． (2¨) Hager和Zhang【15】也给出一种共轭梯度法，其中 雕z=去(玑啦镤‰仙 (2m) 和 --以／42一ax㈣帕，仉2_孟赫丽， (213) 其中口0表示常数，随后他们又提出一类方法[16】： 口kHZ=去(玑啪ae铿‰， (2¨) Dai—LLaO方：’去中 俨=掣， (2¨)