一类共轭梯度法的全局收敛性研究.docx

大连理工大学硕士学位论文 引 言 共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并 求逆的缺点[1]，是最优化中常用的方法之一．它具有算法简单、存储需求小、有较快的 收敛速度和二次终止性等优点，十分适用于求解大型的无约束优化问题．在石油勘探、大气模拟、航空、航天、国防、化工等领域出现的大规模的优化问题常常也是利用共轭梯 度法来求解． 共轭梯度法最早是由数学家Hestenes[2]和Stiefel[3]在20世纪50年代初为求解 线性方程组 Ax=b x∈R” (】) 而提出的，他们合作的著名文章[4]被认为是共轭梯度法的奠基工作，在文中他们详细 讨论了求解线性方程组的共轭梯度法的性质及与其他方法的关系，当A为对称正定矩阵 时，线性方程组(1)等价于优化问题： nlin!xT出一6Tx (2) xeR“2 因此，Hestenes和Stiefel的方法也可视为求解二次函数极小值的共轭梯度法．1964年 Fletcher和Reeves将此方法推广到非线性优化，得到了一般函数极小值的共轭梯度法， 随后Beale．Fletcher，Powell等学者对非线性共轭梯度法进行了深入的研究，得出了非线性共轭梯度法收敛性分析的早期成果．近年来，国内外的众多学者在非线性共轭梯度法 的收敛性方面做了大量的工作，得到了不少新的成果[5—11]． 对于无约束优化化问题： m砌in．／(x)  (3) 给出一初始值五，算法迭代产生屯，x3， ，希望某一≮是(3)的解或点列收敛的解． 在线搜索型的方法中，第k次迭代从当前点气起，产生一搜索方向dk∈R”，下一迭代点 为： xk+1=xk+ak哝 (4) 一类共轭梯度法的全局收敛性研究 其搜索方向是当前负梯度方向与上一次迭代的搜索方向的线性组合，它表示为： (5) 计算喀的关键在于尾的取法，不同的反对应不同的非线性共轭梯度法． Fletcher Reeves共轭梯度法(即FR方法)是最早的非线性共轭梯度法，由Fletcher 和Reeves在1964年将求解线性方程组的共轭梯度法推广用于求解优化问题(3)而得 到的，其参数反的公式为： 办器Ig,Il一0 ㈤ FR方法具有很好的全局收敛性，但有时数值表现不太理想． P01ak一黜biere—Polyak方法(即PI冲方法)是由Polak，Ribiere和Polyak在1969 年独立提出的一种非线性共轭梯度法，这种方法的参数鼠由以下公式得到： 矿=毪一 (7) 该方法在目前被认为是数值表现最好的共轭梯度法之一，其原因是当算法产生一个小步 长时，由PRP方法定义的搜索方向，自动靠近负梯度方向，从而较为有效地避免了由 FR方法可能产生连续出现小步长的缺点，因而具有很好的数值表现，但是得到的全局 收敛性结果不是很好． 另一种与PRP方法具有相似性质的是由Hestenes和Stiefel提出的HS方法，这种 共轭梯度法的参数鼠的公式为： (8) §≯=。《g：rk(．gk-一ggk_j1孓) 大连理工大学硕士学位论文 与PRP方法一样，即使使用精确线搜索，方法对于一般的非凸目标函数也不一定收敛． 为了能让PI冲方法和HS方法在非精确线搜索下能得到较好的收敛结果，3之[12]将PI强 方法修正为： 肛蠢凡。—一斟萨鼬， (9) 文[13]将文[12]的方法推广到HS方法后得： R螂她一斟鼬， 俨2 1惹等丁 (10) 本文的第三章结合第二章给出的新方法、DY方法和MHS方法提出一个新的混合共轭 梯度法公式： 卢：：剖：二竺虹!塑尘垒堕型 ?) P‘一 口7★T一八rgt—  其中以=黔，九=龆．并在w。-re线搜索下证明了该方法的全局收敛 性． DY方法是由Dai和YuaLri于1999年提出的一种具有良好的收敛性质的共轭梯度 法，其参数展的公式为： (12) 卢kDY_瓦西Ilgk乏112 j 它在对目标函数假设较弱的条件下，不使用强Wolfe线搜索，只要用弱Wolfe线搜索便 可以得到很好的收敛结果，而且不使用任何搜索条件便可具有良好的内在性质．(详见文 献[7]和[14]) 本文第二章在DY方法的基础上，提出了一个新的共轭梯度法公式： 一类共轭梯度法的全局收敛性研究 一一—————-——————————————-————————————-—_—_————_-——_——_—_——’_———————一 g?(g^一／．t女以。1) 酬一I(g★一繇一1) g?(g女+地矾一1) 酬一1(gk—g¨)  if gj以一，o (13) otherwise 其中胁=网Ilgkll，在一定的条件下给出了该公式的一些性质，并在w。lfe线搜索条件下 证明了该方法的全局收敛