一些新的非线性共轭梯度法.docxVIP

g七十1=2女+a,dk， f1．2．】) 其中呶是按某种方法获得的搜索方向，ae是步长因子，它满足精 确线搜索条件 mk+。k以)_。嚣‰)m^+adk)0口∈l，+0。) (1·2·2) 或某种不精确线搜索条件．常见的不精确线搜索有(强)Ⅳof，e线搜 索，Armijo线搜索等．本文对单调型线搜索只考虑(强)w。If。线搜 索． 口t满足Wolfe线搜索是指n。满足以下两式 ，(。女+akdk)≤f(zk)+aakg}dk， g(xk+a*dk)Tdk≥6口}如， 其中g(z)=v，(。)，gk=g(xk)，吒6是常数，且0盯J1 如果将(1．2．4)改为  (1．2．3) (I．2．4) 61蠢如≤g(xk+蛳如)r呶≤一如蠢呔， (L2．5) 其中61，如是常数， 如≥o，6l∈(如，1)，我们称满足(1．2．3)(1．2．5)的nk满 足推广的Wolfe线搜索． 如果(1．2．5)中的0矗=如=d1，即 |擘(。女+akd,)Tdkl s一幻善靠 则称口t满足强Wolfe线搜索． 搜索方向血通常要求是下降方向，即 靠氐0 (1．2．7) 3 d。有多种不同的取法，不同取法形成了不同类型的方法．如果取以 为负梯度方向(或称最速下降方向)，即 dk=一珊 时，这样的方法称为最速下降法． 当氐按以下方式选取时，称为牛顿法 dk=一日flgk (1．2+9) 牛顿法需要计算n×钆阶Bessen矩阵风，即v2，(％)．并且当vz，(。＆) 非正定时，如可能不满足(1-2．7)．当v2，(。k)奇异时，町1不存在． 为了保证每次迭代时风都是正定的，需要每次迭代时都对凰进行修正，用一个正定对称阵地近似凤，即 如=--Mkgk (1．2．10) 其中慨是对称正定的，这样得到的方法称为拟牛顿法．因每次迭 代时慨都将发生变化，故拟牛顿法也称为变尺度法． 牛顿法和拟牛顿法都至少要存储一个n×n阶矩阵，很难应用于 大规模问题． 求解问题(1．1．3)的共轭梯度法是由解线性方程组(1．1．1)的线性共 轭梯度法推广而来的．共轭梯度法的搜索方向呔是负梯度方向一船 和上一次搜索方向靠一，的某种线性组合，即 扣{-9k船，蓦 ∽。．Ⅲ 风的不同选取形成了许多不同的共轭梯度法． 觑的常用的计算公 式有 4 ERR=羔 (12·12) (1舢) 硝RP。疆9l_y。鳜k-一：： ficv=一希(1．2．14) 硝33老T磊1(1．2．15) 卯y 2磊gl磊gk(1．2．16) 船5=一9越T_ldk--1 (1·2·17) 其中Yk一。=9。一珊。为了方便，以上公式对应的共轭梯度法分别称 为FR．PRP、CD、日s、DY、LS方法． FR方法是由Fletcher和Reeves提出的第一个非线性共轭梯度 法，虽然在理论上有很好的全局收敛性结果，但该方法在计算中不 是十分有效．PRP方法是由Polak，Ribiere和Polyak在1969年分别 独立提出的，是数值表现最好的非线性共轭梯度法之一，但即使采 取精确线搜索也不一定收敛． CD方法首先由Fletcher在1987年引 入，这种方法的一个重要特点是只要强Wolfe条件中的参数一1， 方法在每次迭代都产生一个下降搜索方向，而此时黜方法和PRP 方法即使对一致凸函数也有可能产生一个上升搜索方向，不过CD 方法的收敛性质并不好，并且当线搜索精确时，方法可能连续产生许多小步长而不恢复．DY方法是由Dai和Yuan在1995年通过对 CD方法的研究而发现的一种新的共轭梯度法，它在Wolfe非精确 线搜索下即可保证在每次迭代中产生一个下降方向，且方法全局收 敛(即对任何一个初始点都可用这种方法找到一个局部极小点或全局极小点)．HS方法是由Hestenes和Stiefet给出的，它的一个重要性质是共轭梯度关系式耀弧一。=0不论线搜索是否精确总是成立的，它的理论性质和计算表现与PRP方法很类似． Ls方法是由Y．Liu 和C．Stor吲在1991年提出的，其性质类似于HS方法．所有这些共轭 梯度法在目标函数二次正定，线搜索精确时是等价的．但对于一般 的目标函数或者线搜索不精确时，它们的计算效果差异很大． 设无约束优化问题(1．1，3)中的目标函数，(z)是正定二次函数，即 m)-；∥舡+矿z+c 其中A是n×n阶对称正定矩阵，6是n×l向量，c是实数．当线搜索精确时，从任意初始点开始迭代，FTt、PRP等共轭梯度法求解(1．2．17)得到一组搜索方向{dk，≈=1，2， )，容易验证这组搜索方向满足以下共轭性条件 口A吗=0，i≠J 这也正是共轭梯度法名字的由来． 共轭梯度法的搜索方向在形式上仅比最速下降法稍微复杂一点， 但对于二次函数，算法在线搜索精确时不超过n步即可终止，而最 速下降法却只是线性收敛的．