修正地共轭梯度法与其全局收敛性.docx

青岛大学硕士学位论文 方法中，最速下降法是最简单的，但它数值表现十分不理想。尽管拟牛顿方法收敛速度很快，被广泛认为是菲线性规划的最有效的方法，但拟牛顿方法需要存储矩阵，这对于大规模问题在存储量方面的开销将变得很大。而共轭梯度法算法简便，所需存储量小，而收敛速度又比较快，特别适合求解大规模问题。在石油勘探、大气模拟、航天航空等领域出现的大规模问题常常是利用共轭梯度法来求解的。 共轭梯度法已有四十多年的历史，最早是由计算科学家Hestenes和几何学家Sfiefel在1952年求解线性方程组 删=6，X∈∥ 时而独立提出的，他们合作的著名文章被认为是共轭梯度法的奠基性工作“1。1964年，Fletcher和Reeves将此方法推广到非线性优化领域。1，得到了求解一般函数极小值的共轭梯度法。随后，Fletcher ，Powell“1，Beale㈣等著名优化专家对非线性优化共轭梯度法进行了深入的研究，取得了十分优秀的成果。近年来，Noeeda蛳，Gilbert”1，Nazareth嗍，Storey嗍，A1．Baali“”等学者在算法的收敛性方面得到了不少的新成果。 我国学者也在共轭梯度算法的理论研究中取得了一定的成绩。例如，中国科学院数学与系统科学研究院袁亚湘研究员课题组以及韩继业研究员课题组的工作就十分突出。戴或虹博士和袁亚湘研究员在其2000年出版的‘非线性共轭梯度法》一书中系统的给出了无约束优化问题的共轭梯度算法的收敛性理论，是国内致力于讨论共轭梯度算法的第一本专著““。 共轭梯度法最本质的性质是共轭性质。共轭性质可追溯到1936年，Birkhoff等学者在研究变分中自然等周条件时引入了共轭的概念。在矩阵计算中，将Gram．Schmidt正交化方法推广为共轭梯度法，就是寻找椭球的两两共轭的轴。共轭是正交的直接推广。共轭方向的优点之一是，它能将一个栉元线性方程组化为一个 单元线性方程组。 共轭梯度法的基本迭代格式为： 雄“=坼+％露 正：f咄，bl I—gI+反巩一l，k≥2 其中以为搜索方向，吼是通过一维线搜索获得的步长，屈为标量，不同的屈公式对应不同的共轭梯度法。经常用到的厦公式有Fletcher-Reeves公式，Polak-Ribi6re． Polyak公式，Hesteneses．Stiefel公式，Conjugate Descent公式，Dai．Yuan公式和Liu- Storey公式等。不同的公式各有自身的优缺点，许多学者通过对公式的改进和混合来得到更好的共轭梯度算法。 步长因子吼的计算对一个线搜索型的方法也至关重要。简单说来，它是从以沿以方向寻找一个“好”的点作为下一个迭代点。显然，最好的点是在这个方向函数 2 引言 值达到最小的点，即要求 ，(黾+鲰矾)=咖厂(以+碱) 这时，称线搜索为精确线搜索。因精确线搜索要求一个单变量函数的极小值，计算 量较大，所以在实际计算中常常用到非精确线搜索，常用的非精确线搜索有Wolfe 线搜索、强Wolfe线搜索、推广的Wolfe线搜索、Armijo线搜索、Armijo型线搜索、Goldstein线搜索和非单调搜索等。 本文的主要工作是，其一对传统展公式进行改进，提出修正的Dai．Yuan公式和修正的Hesteneses-Stiefe!公式。新的公式是原公式的推广，在此基础上，我们提出新的共轭梯度算法并证明了算法的全局收敛性。 其二在传统非精确线搜索基础上提出两种新的非精确线搜索。新的线搜索可行 并且具有较好的性质，结合几个共轭梯度公式我们可以得到几个新的共轭梯度算法并证明了新算法的全局收敛性。 3 青岛大学硕士学位论文 第一章修正的共轭梯度公式 本章对传统共轭梯度公式进行修正提出修正的Dai．Yuan公式和修正的 Hesteneses．Stiefel公式。新的公式在限制其值是非负的条件下不需要任何线搜索即 可保持充分下降性，在一定的条件下，新的公式和任何可以保证Zoutendijk条件成立的线搜索结合所得的方法都具有全局收敛性。此外，在较弱的条件下，可以证明 新的公式在Amajo线搜索下全局收敛。 1．1共轭梯度法 共轭梯度法是求解无约束优化问题 卿，(x) l一(1) 的一类非常有效的方法。它具有算法易于实现、存储空间小等优点，因而对于大规 模问题显得特别有效。 随着计算机的飞速发展和实际问题的需要，大规模优化越来越受到重视，共轭梯度法的研究也日益受到了人们的关注。早期对共轭梯度法的收敛性分析成果主要由Fletcher、Powell、Beale等学者给出的。近年来，Nocedal、Gilbert、Nazareth、 AI．Baali、Storey等学者以及国内的袁亚湘、戴或虹、韩继业、王长钰等学者也得到了非常好的一些结果，见参考文献【3．16】。 当目标函数厂(工)连续可微时，