一类非线性共轭梯度法地收敛性研究.docx

引言 引 言 在自然科学，社会科学，生产实践，工程设计和现代化管理中有许多实际问题， 需要从众多的方案中选出最优方案，这即是最优化问题．最优化理论与方法是从上世 纪四十年代蓬勃发展起来的用来解决最优化问题的一门独立的学科。根据不同的分 类方法，最优化问题可以分为线性规划，非线性规划，整数规划，动态规划，多目 标规划等，其中很多问题最后都转化成无约束优化问题来求解．本文主要研究求解无约束优化问题的共轭梯度法． 共轭梯度法具有算法简单，存储需求小，收敛速度快，易于实现等优点，十分 适用于求解大规模的无约束优化问题．在石油勘探，大气模拟，航空航天，国防， 化工等领域出现的特大规模的优化问题常常也是利用共轭梯度法求解． 共轭梯度法最早是由数学家Hestenes[q和册咖产】在20世纪50年代初为求解线 性方程组 Ax=b,x∈RⅣ (1) 而提出的，他们合作的著名文章[31被认为是共轭梯度法的奠基工作．该文章详细讨 论了求解线性方程组的共轭梯度法的性质及它与其他方法的关系．当A为对称正定 矩阵时，线性方程组(1)等价于最优化问题 rdm。土，xrAx—b7x (2) M∥2 因此，Hestenes和Saefet的方法也可视为求二次函数极小值的共轭梯度法．1964年 Fletcher和Reeves将此方法推广到非线性优化，得到了求一般函数极小值的共轭梯 度法．随后，Beale，Fletcher,Powell等学者对非线性共轭梯度法进行了深入的 研究，给出了非线性共轭梯度法收敛性分析的早期成果．近年来，国内外的众多学者 在非线性共轭梯度法的收敛性方面作了大量的工作，得到了不少新鲜的结果．[4-1川 共轭梯度算法的基本原理是利用产生的共轭方向将一个17维的优化问题转化为等价的n个一维问题．对于无约束优化问题： nfmf(x) (3) JEjr’ 给出一个初始点气，算法产生迭代序列乜，x3， ，希望某一稚是(3)的解或点列收敛的 解．在线搜索型的方法中，第k次迭代从当前点娩，产生一搜索方向以∈R”，下一 迭代点为： 青岛大学硕士学位论文 xk+l=《+吼以 (4) 求解上述问题的共轭梯度法是从求解线性方程组(1)的线性共轭梯度法推广而 来的．其搜索方向是负梯度方向与上一次迭代的搜索方向的线性组合，它表示为 玩=一＆+反矾-I (5) 计算喀的关键在于展的取法，不同的屈对应不同的非线性共轭梯度法． 最早的非线性共轭梯度法用方法是由F]etcher和Reeves在1964年将求解线 性方程组的共轭梯度法推广用于求解优化问题(3)而得到的，其形式为 矽=器 御 FR方法具有很好的全局收敛性，但有时数值表现不是很好． 由Polak—gibia—Polyak在1969年提出的PRP方法，其形式为 肛哗铲 ’∽ PRP方法是目前认为数值表现最好的共轭梯度法之一，其原因是当算法产生一 个小的步长时，由PRP方法定义的搜索方向自动靠近负梯度方向，从而较为有效地 避免了FR方法可能产生连续小步长的缺点，因而具有很好的数值表现，但得到的 全局收敛性结论不是很好． 由Hestenes，Stiefel提出的月胪S方法，=其形躺式为 (8) HS方法的性质类似于PRP方法，结合HS方法，本文给出了一个混合的共轭梯度法， 其形式为 ∥=一t蛙蓑耄掣，吣 并证明了算法具有性质(。)。 由我国学者戴或虹和袁亚湘肛在1995年提鹄出的DY方法，其形式为 (9) DY方法具有很好的伞局收敛性和数值结果． 2 引言 在迭代公式(4)中，吒为搜索步长，步长的选取方法有：精确或不精确线搜索 准则，取常数步长等．精确线搜索的思想是：我们期望在迭代过程中从黾点出发得 到一个‘好’的点作为下一个迭代点，也即使得函数值下降量最大，显然，最好的点是使得函数值达到最小的点，即要求 厂(鼍+嚷反)2咖，(黾+口吱) 这就是所谓的精确线搜索．由于精确线搜索要求一个单变量函数的极小值，计算量较大，所以在实际计算中常常用到非精确线搜索．常用的非精确线搜索准则主要有： Wolfe线搜索准则： ，(以+吼破)一f(xk)≤6％g：畋 (io) g(xk+吒反)7反≥仃反喀 (11) 其中，0艿仃l 本文在第二章给出了一个新的计算公式∥2刁g；j(g云k丽-d,_1)，结合席7给出了 一个混合的共轭梯度算法，并证明了算法在Wolfe线搜索准则下的全局收敛性． 如果(11)为 I《g(≮+吒反)卜口l彩＆I (12) 其中06矿l，则(10)和(12)称为强勋狰线搜索准则． 如果(11)为 q《＆≤《g(以+吒破)≤一cr2《gk (13) 其中Odcrl1，crz≥0，则(10)和(13)称为推广的Wolfe线搜索准则． 4脚if；D线搜索准则：选取吼=胪，其中m为使得下式成立的最小非负整数 八％+％反)一