(修改稿)种新的修正DY共轭梯度法的全局收敛性.docVIP

一种修正的DY共轭梯度法的全局收敛性( 敖卫斌 （重庆师范大学 数学学院，重庆 401331） 摘要：本文提出了一种新的非线性修正的DY共轭梯度算法（MDYCG）,该算法得到的搜索方向为下降方向，它既不受线搜索规则的影响，也不受目标函数的凸性影响。在精确线搜索下，MDYCG算法化归为标准的DY共轭梯度算法。证明了该方法在Armijo型线搜索下的全局收敛性，给出了初步的数值结果。 关键词：无约束优化；共轭梯度法；Armijo型线搜索；全局收敛性 中图分类号：0182.1 1. 引言 考虑无约束优化问题： （1） 其中为连续可微函数，其梯度向量记为，简记为g。 共轭梯度法是求解大规模无约束优化问题的有效算法之一，它像最速下降法一样在每步迭代中不需要存储和计算矩阵，其迭代格式为： (2) (3) 其中，，为搜索方向，是通过一维线搜索获得的步长，为标量。不同的对应着不同的共轭梯度算法。1964, Fletcher 和 Reeves首先提出非线性共轭梯度法参数，它定义为([2]). 还有其他著名的，比如 ( [3-4])， ([5]), ([6]), ([7]), （[8]）为欧几里得范数,。FR方法、CD方法和DY方法具有较好的理论收敛性，然而PRP方法、HS方法和LS方法具有较好的数值计算结果。 张丽在文献[9]中提出了修正的FR方法的搜索方向，从 而使得新的算法具有充分下降性和全局收敛性，得到了较好的数值试验结果。 本文在文献[9]的启发下，选取不同的，提出了一种修正的DY算法（MDYCG）并证明了该算法在Armijo型线搜索下的全局收敛性。所采用的Armijo型线搜索准则：取步长 （4） 满足 （5） 其中。 2. 修正的DY新算法 本文给出的新算法迭代格式为（2）和 (6) 其中，我们称 (2) 和(6)为 MDY方法。当线搜索为精确线搜索时，MDYCG就得到标准的DY共轭梯度法。同时由和式（6），易知对,有： （7） 下面给出新的算法步骤： （1）给出，，令 k:=1,，若，立即停止； （2）找到满足Armijo型线搜索规则； （3）令, 且，若，立即停止； （4）通过计算,并由式（6）得； （5）令k:=k+1，返回（2）。 本文做如下假设： （A）在水平集有下界，其中为初始点。 （B）的一个领域内，连续可微且其梯度向量满足Lipschitz条件，即存在常数，使得 。 （8） 同时由上述的假设可以得到存在正常数和满足： 。 （9） 3.算法的收敛性 引理 3.1 假设A，B成立，MDYCG算法中满足Armijo型线搜索，则有 成立，其中。 证明：如果, 有 ，再由 (7) 和施瓦兹不等式, 得 则对成立。 如果, 由 Armijo型线搜索规则, 不满足不等式(5). 则有： （10） 由中值定理和假设B , 存在某一个使得 （11） 结合不等式（10）、（11）和（7）得 证毕。 引理 3.2假设A，B成立，MDYCG算法中满足Armijo型线搜索，则有Zoutendijk条件 （12） 证明： 由假设A和（5）, 有 ，再由式子（7）有 （13） 由引理1和（13），可以得到，证毕。 定理3.3若假设A和B成立，MDYCG算法中满足Armijo型线搜索，或者对某个k成立，或者有 。 证明：反正法。假设结论不成立，则存在一个常数使得 ，成立