大规模有限内存方法地探讨.docx

l绪论 硕上论文 1．2．1共轭梯度法 共轭梯度法首先由ttestenes和Stiefel(1952)提出来并作为解线性方程组的方法。由于解线性方程组等价于极小化一个正定二次函数，故1964年Fletcherl21等人提出了求解大规模无约束优化问题的共轭梯度法。它是解决大规模非线性问题的最早的技术。共轭梯度法具有结构简单，计算量小，存储量少且构造搜索方向不需要解线性方 程组的特点，因而适宜于求解大规模的问题。 (1)正定二次函数的共轭梯度法 设 f(x)=去xrGx+brx+c 其中G是行×刀对称正定矩阵，b是nxl向量，c是实数。f的梯度为 g(x)=Gx+b 令do=一go 则 ■=Xo+％蟊 由精确线性搜索性质， gj‰=0 令dl=一蜀+屁哦 选择屁，使得 dIGdo=0 对(1．7)式两边同乘以舔G，得 届：g．，ri Gdo：塑皇丘盟：挚 “硪Gdo do(gl—go)gjgo  (1．2) (1．3) (1．4) (1．5) (1．6) (1．7) (1．8) (1．9) 由共轭方向法基本定理，g；Z=o，i=o，1，利用(1．4)和(1．7)式，可知 ＆Tgo=0，grgI=0 (1．10) 一般地，在第k次迭代，令 以=-g。+∑屈Z 选择屈，使得d；Cd,=o，i=o，l， ，k一1。也假定 2 硕上论文 大规模有限内存方法的探讨 《Z=o，繇T蜀=o，i=o，l，?，k-1 (1．12) 对(1．11)式的左端乘衫G，j=o，l， ，k一1，则 局=貉=糍鲁班叫， 卜· n m 由(1．12)式 《毋+l=o，j=o，1，?，k一2 g；g』=o，，=o，l，?，k一1 故得局一o，刎凡?卜2，几=黜=基 因此，共轭梯度法的公式为 = (1．14) ％‰ 磊I|一一坼＆ 嘞把一从触 近年来，尤其是1999年以后，人们对非线性共轭梯度法的研究有了进一步的拓 广，对屏提出了许多不同的形式，较著名的共轭梯度法有：Polak·Ribie re—Polyak共轭梯度法，Dixon共轭梯度法，Crowder．Wolfe共轭梯度法，Hestenes．Stiefel共轭梯度 法。其中确定的反的公式分别为： 矿：亟[些 (1．15) gl gk 酽一瞬 (1．16) gk 卢kCW_瓦(gk_+l--igk而)r Lg勰々+l—gtJ‘do 对于正定二次函数，若采用精确线性搜索策略，则以上几种共轭梯度法等价，但 在实际中PRP方法和FR方法是最常用的方法。对于非二次函数，PRP方法和FR方法 就不同了，因为它们的海森矩阵不再是常数矩阵，搜索方向也不再是共轭方向。在实 践中，Powell发现对于某些问题，PRP方法的效果比FR方法的效果要好。FR方法， 如果从‰一。N x。产生不好的方向或者是小步长，下一步的方向d。和S。性质不好，除 1绪论 硕上论文 非沿梯度方向执行一个重新开始。 (2)重新开始的共轭梯度法 由于在最优解邻近目标函数接近于一个正定二次函数，并注意到共轭梯度法的二次终止性依赖于取负梯度方向作为初始搜索方向，故当迭代点进入f(x)可由二次函数很好逼近的区域时，重新取负梯度方向作为搜索方向，则其后11次的迭代方向接近于共轭方向，从而具有较快的收敛速度。因此将共轭方向法应用于非二次函数的极小化，每迭代，z次就周期的取负梯度方向作为搜索方向。因此将这种算法称作重新开始的共轭梯度法。 Beall51给出了反具有下列形式： 丸=一颤+屈以一l+以4 (1．19) 其中1≤，k为某整数， 孱：辱丛 (1．20) (／k—．1Yk—．1 f0 若k=f+1 以2 1矗只／∥M否则 McGuire[61和Wolfe就Beal的三项方法作了数值验证，但数值结果却令人失望。 Powellt8I通过引入一个新的重新开始准则，即如果下面 lgTgk一。I≤c㈥g 不成立，也重新开始，这克服了McGuire和Wolfe的困难，并且获得了令人满意的数值结果。因此称此算法为Beal．Powell重新开始的方法。这种方法具有／／步超线性收敛速度或刀步二次收敛速度。 (3)杂交共轭梯度法 由于常用共轭梯度法FR、PRP、DY、HS等方法各有优缺点，因此如果结合各方法的优点，可能产生更好的算法。我们知道，PRP方法是数值表现最好的非线性共轭梯度法之一，但即使采用精确线搜索也不一定收敛；另一方面，虽然FR方法在计算中并不十分有效，但其收敛性质却较好。为了结合这两种方法的优点，Touati．Ahmed和Storet91首先引入了杂交共轭梯度法，并考虑了FR方法和PRP方法的如下杂交方 法： 屈=max{0，min{矿，胪)) (1．21) 4 硕十论文 大规模有限内存方法的探讨 这种方法确实可以避免FR方法可能连续产生小步长的缺点。Gilbert