共轭梯度法地全局收敛性研究.docxVIP

广西大学同等掌力申请硕士掌位论文(2007年) 共轭梯度法的全局收敛性研究 第一章 绪论 1．1 引言 共轭梯度法是目前求解最优化问题的常用方法之一，它具有算法简单，存储需求小等特点，十分适用于大型的无约束优化问题．在石油勘探、大气模拟、航空航天、数据挖掘、生产管理、国防、化工等领域出现的特大规模的优化问题常常是利用共轭梯度法求解． 在目前所有需要计算导数的无约束优化方法中，最速下降法是最简单的，但大量的数值实验表明，它的收敛速度十分缓慢，因此，它不是高效可行的优化方法．拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最有效方法．但拟牛顿方法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解诸如上述一些大规模问题几乎是不大可能办到的．共轭梯度方法是集最速下降法和拟牛顿法各自优势于一体的最优化方法．它仅需要利用一阶导数的信息，所需存储量等方面与最速下降法类似，但克服了最速下降法收敛慢的缺点，又避免了存储和计算拟牛顿法所需要的矩阵的信息，其收敛速度与拟牛顿法相媲美，十分适合于大规模优化问题．因此，共轭梯度法一直为广大工程和科技人员所关注和研究的热点． 1．2 共轭梯度法的基本知识及一些著名成果 共轭梯度法最早是由计算数学家Hestenes[1]和几何学家Stiefel[2]在20世纪50年代 初求解线性方程组而独立提出的．他们合作的著名文章Is]被认为是共轭梯度法的奠基性 工作．1964年，Fletcher和Reeves[4]将此方法推广到求解非线性极小化问题，提出求解一 般函数极小值的共轭梯度法． 本文考虑无约束优化问题 m—i～n，(z)， (1．2．1) z∈册’、～ 其中，：舻一冗为一阶连续可微的非线性函数，其梯度向量记为夕．非线性共轭梯度法 是求解无约束优化问题的一种有效的方法，其迭代公式为： ‰+l 2 z七+Q七dk， (1．2．2) 1 广西大掌同等掌力申请硕士掌位论文(2007牟*) 共轭梯度法的金月，收敛性研究 一鲰， k=1， (1．2．3) 一鲰+仇dl,一1，七≥2． 其中也为搜索方向，口七为搜索步长，一般采用某个线搜索来获得，常用的步长规则主要 (1)Amijo规则：寻找一个口七=矿ts，其中p∈(0，1)，S0，m七是最小的正整数m， 并满足 ，(z七+akdk)一，(z七)≤6pmsgTdk， 6∈(0，1)． (1．2．4) (2)Amijo-Goldstein规则：寻找一个Q七0并满足 ，(z七+akdk)一f(xk)_6a七g[dk， (1．2．5) f(x七+ak呶)一他七)≥(1—6)Q七靠噍，眶(o，互1)． (1．2．6) (3)弱Wolfe-Powell(、舯)规则：寻找一个Q七0并满足(1．2．5)和 g(x七+akd七)TdkagTd七， 仃∈(6，1)． (1．2．7) (4)强Wolfe-Powell(SWP)规则：寻找一个a七0并满足(1．2．5)和 g(xk+akd知)Tdkl≤algTdk[，仃∈(6，1)． (1．2．8) 其中仇是标量，关于参数风有几个著名的计算公式，其形式如下： 酽=芒篆魁 (Hestenses—Stiefel【3】，1952)； m 酽2盖 (Fletcher—Reeves．【4】，1964)； 口￡1口k一1 凡P：鲮!嬖二墅=12 (Polak—Ribi色re—Polyak【5，6】，1969)； 9羹以gk一1 蘼k D=。五g—T。鲰gk= (Conjugate Descent【7】，1987)； pkL5__--一甏掣 (Liu—Storey【8】，1991)； gTgk 8F= (鲰一gk一1)Tdk一1 (Dai—Yuan【9】，1999)． 2 广西大掌罔等掌力申请硕士掌位论文(2007牟-) 共轭梯度法的全局收敛性研究 关于仇的以上几种著名公式在某些线搜索下的全局收敛性己被广泛研究，其中FR方法的第一个全局收敛结果由Zoutendijk[10】于1970给出，他证明了当Q南由精确线搜索产生时FR方法是全局收敛的．Powell[111于1977年在精确线搜索下分析了FR方法可能连续产生小步长的性质，即如果FR方法在某一步产生一个很小的步长，则相继的许多步长也可能非常小．Powell[11]也给出了FR方法最简单的全局有效性分析．AI-Baali在非精确线搜索下证明了FR方法具有全局收敛性但数值结果较差【121． PRP是目前被认为数值表现最好的共轭梯度法之一，但其全局收敛性较差．当算法产生一个小步长时，由PRP方法定义的搜索方向如自动靠近负梯度方向，从而较为有效地避免FR方法可能连续产生小步长的缺点．基于此，Powell[II】证明了当步长8七=z七+1一z七趋于零时PRP方法的全局收敛性．另一方面，Powell