一类非线性共轭梯度法地收敛性研究.pdf

引言 引 言 在自然科学，社会科学，生产实践，工程设计和现代化管理中有许多实际问题， 需要从众多的方案中选出最优方案，这即是最优化问题．最优化理论与方法是从上世 纪四十年代蓬勃发展起来的用来解决最优化问题的一门独立的学科。根据不同的分 类方法，最优化问题可以分为线性规划，非线性规划，整数规划，动态规划，多目 标规划等，其中很多问题最后都转化成无约束优化问题来求解．本文主要研究求解无 约束优化问题的共轭梯度法． 共轭梯度法具有算法简单，存储需求小，收敛速度快，易于实现等优点，十分 适用于求解大规模的无约束优化问题．在石油勘探，大气模拟，航空航天，国防， 化工等领域出现的特大规模的优化问题常常也是利用共轭梯度法求解． 性方程组 Ax=b,x∈RⅣ (1) 而提出的，他们合作的著名文章[31被认为是共轭梯度法的奠基工作．该文章详细讨 论了求解线性方程组的共轭梯度法的性质及它与其他方法的关系．当A为对称正定 矩阵时，线性方程组(1)等价于最优化问题 rdm。土，xrAx—b7x (2)、7 M∥2 研究，给出了非线性共轭梯度法收敛性分析的早期成果．近年来，国内外的众多学者 在非线性共轭梯度法的收敛性方面作了大量的工作，得到了不少新鲜的结果．[4-1川 共轭梯度算法的基本原理是利用产生的共轭方向将一个17维的优化问题转化为 等价的n个一维问题．对于无约束优化问题： nfmf(x) (3) JEjr’ 给出一个初始点气，算法产生迭代序列乜，x3，…，希望某一稚是(3)的解或点列收敛的 解．在线搜索型的方法中，第k次迭代从当前点娩，产生一搜索方向以∈R”，下一 迭代点为： 青岛大学硕士学位论文 xk+l=《+吼以 (4) 求解上述问题的共轭梯度法是从求解线性方程组(1)的线性共轭梯度法推广而 来的．其搜索方向是负梯度方向与上一次迭代的搜索方向的线性组合，它表示为 玩=一＆+反矾-I (5) 计算喀的关键在于展的取法，不同的屈对应不同的非线性共轭梯度法． 性方程组的共轭梯度法推广用于求解优化问题(3)而得到的，其形式为 矽=器 御 FR方法具有很好的全局收敛性，但有时数值表现不是很好． 由Polak—gibia—Polyak在1969年提出的PRP方法，其形式为 肛哗铲 ’∽ PRP方法是目前认为数值表现最好的共轭梯度法之一，其原因是当算法产生一 个小的步长时，由PRP方法定义的搜索方向自动靠近负梯度方向，从而较为有效地 避免了FR方法可能产生连续小步长的缺点，因而具有很好的数值表现，但得到的 全局收敛性结论不是很好． ， 由Hestenes，Stiefel提出的月S方法，其形式为 胪=躺 (8) HS方法的性质类似于PRP方法，结合HS方法，本文给出了一个混合的共轭梯度法， 其形式为 ∥=一t蛙蓑耄掣，吣 并证明了算法具有性质(。)。 由我国学者戴或虹和袁亚湘在1995年提出的DY方法，其形式为