具有充分下降性的修正共轭梯度算法及其收敛性.pdfVIP

具有充分下降性的修正共轭梯度算法及其收敛性 余刚，贺祖国 北京邮电大学理学院，北京（100876 ） E-mail ：gangyu519@ 摘 要：共轭梯度法因其算法简单，存储需求小，非常适合求大规模优化问题。在所有的共 轭梯度法中，PRP 方法被认为是数值表现最好的方法之一。然而，对一般非凸函数，PRP 方法即使采用精确线搜索也不能保证全局收敛。本文基于一个修正的共轭梯度法公式，提出 了一类无需线搜索而具有充分下降性的共轭梯度算法。在一定条件下，建立了该算法的全局 收敛性结果。数值试验表明这种改进是有效的。 关键词：无约束优化；大规模优化；共轭梯度方法；全局收敛性 中图分类号：O224；O241.5 0. 引言 共轭梯度法具有算法简便，存储需求小等优点，十分适合于求解大规模优化问题。考虑无约 束优化问题: n min{f (x ) | x ∈R } （1） 这里f (x ) 连续可微。求解问题(1)的共轭梯度法具有如下形式： x x =+α d （2 ） k +1 k k k ; −g (k 1) ⎧ k dk ⎨ （3 ） β −g + d (k ≥2) ⎩ k k k −1 α g =∇f (x ) β β 其中， 0 是步长因子； , 为一参数。以下是一个著名的选取 的共轭 k k k k k 梯度公式： PRP g T k (gk −gk −1) βk T （4 ） g k −1gk −1 [1] [2] 由Polak-Ribiere 和Polyak 于1969 提出，故相应的算法称为PRP 算法。 共轭梯度法在不同类型的线搜索下的收敛性已被广泛研究，在所有的共轭梯度法中，PRP [7] 方法被认为是数值表现最好的方法之一。但对一般非凸函数，Powell 举出了反例表明即 [8] 使采用精确线搜索PRP 方法也不具有全局收敛性。如果使用非精确线搜索，Dai 举出了 例子表明，即使目标函数 σ f(x)一致凸，而且强Wolfe 线搜索中的参数 ∈(0,1)充分小，PRP