一些新的非线性共轭梯度法.pdfVIP

g七十1=2女+a,dk， f1．2．】) 其中呶是按某种方法获得的搜索方向，ae是步长因子，它满足精 确线搜索条件 mk+。k以)_。嚣‰)m^+adk)0口∈l，+0。) (1·2·2)、 ’ 或某种不精确线搜索条件．常见的不精确线搜索有(强)Ⅳof，e线搜 索，Armijo线搜索等．本文对单调型线搜索只考虑(强)w。If。线搜 索． 口t满足Wolfe线搜索是指n。满足以下两式 ，(。女+akdk)≤f(zk)+aakg}dk，(1．2．3) g(xk+a*dk)Tdk≥6口}如， (I．2．4) 其中g(z)=v，(。)，gk=g(xk)，吒6是常数，且0盯J1 如果将(1．2．4)改为 61蠢如≤g(xk+蛳如)r呶≤一如蠢呔， (L2．5) 其中61，如是常数，如≥o，6l∈(如，1)，我们称满足(1．2．3)(1．2．5)的nk满 足推广的Wolfe线搜索． 如果(1．2．5)中的0矗=如=d1，即 |擘(。女+akd,)Tdkl s一幻善靠 则称口t满足强Wolfe线搜索． 搜索方向血通常要求是下降方向，即 靠氐0 (1．2．7) 3 d。有多种不同的取法，不同取法形成了不同类型的方法．如果取以 为负梯度方向(或称最速下降方向)，即 dk=一珊 时，这样的方法称为最速下降法． 当氐按以下方式选取时，称为牛顿法 dk=一日flgk (1．2+9) 牛顿法需要计算n×钆阶Bessen矩阵风，即v2，(％)．并且当vz，(。＆) 非正定时，如可能不满足(1-2．7)．当v2，(。k)奇异时，町1不存在． 为了保证每次迭代时风都是正定的，需要每次迭代时都对凰进行 修正，用一个正定对称阵地近似凤，即 如=--Mkgk (1．2．10) 其中慨是对称正定的，这样得到的方法称为拟牛顿法．因每次迭 代时慨都将发生变化，故拟牛顿法也称为变尺度法． 牛顿法和拟牛顿法都至少要存储一个n×n阶矩阵，很难应用于 大规模问题． 求解问题(1．1．3)的共轭梯度法是由解线性方程组(1．1．1)的线性共 轭梯度法推广而来的．共轭梯度法的搜索方向呔是负梯度方向一船 和上一次搜索方向靠一，的某种线性组合，即 扣{-9k船，蓦 ∽。．Ⅲ 风的不同选取形成了许多不同的共轭梯度法． 觑的常用的计算公 式有 4 ERR=羔 (12·12) (1舢) 硝RP。疆9l_y。鳜k-一：： 卯y 船5=一9越T_ldk--1 (1·2·17) 其中Yk一。=9。一珊。为了方便，以上公式对应的共轭梯度法分别称 为FR．PRP、CD、日s、DY、LS方法． 法，虽然在理论上有很好的全局收敛性结果，但该方法在计算中不 独立提出的，是数值表现最好的非线性共轭梯度法之一，但即使采 取精确线搜索也不一定收敛． 入，这种方法的一个重要特点是只要强