求解无约束优化问题的一种新的共轭梯度法.pdfVIP

长江大学学报 (自科版)理工卷 2007年12月第4卷第d期 Journal of Yangtze University(Nat Sci Edit)Sci＆Eng V Dec．2007．Vo1．4 No．4 求解无约束优化问题的一种新的共轭梯度法 喻 娟，陈 忠 (长江大学信息与数学学院，湖北荆州434023) [摘要]一般情况下。求解大规模约束rq题的有效算法是共轭梯度法，屈的选取不同构成不同的共轭梯度法。 提出了求解无约束优化问题的一种新的共轭梯度法．修正了恿，并在Wolfe线搜索下证明了它的全局收敛性 [关键词]无约束优化问题；共轭梯度法；Wolfe线搜索；全局收敛性 [中圈分类号]0224．2 [文献标识码]A [文章编号]1673—1409(2007)04一NO12～02 考虑无约束优化问题： minf ( ) z∈且 式中，厂：R 一R为连续可微函数，求解该问题的一种迭代算法形式为： l：== + t k= l，2，… (1) 式中， 为步长； t为搜索方向，由 ，d 的选取不同，可以得出不同的方法。步长 可通过精确线搜索或 非精确线搜索求得。常用的一种非精确线搜索是标准Wolfe线搜索，其形式如下： f(xt+ t)≤ f(xt)十 g g(xt十 t) dt≥ t (2) 其中，0lD J。若将式(2)换为』g(x +a,d )Td J≤一 ，则为强Wolfe线搜索。 若d ：：：一 厂(缸)，则算法称为最速下降法。这种算法虽然结构简单，每次迭代的计算量小，但其收敛 速度慢且容易产生拉锯现象。若d =一H g ，式中H 为 。-厂( ) 的某种近似，则算法称为拟牛顿法。这 类算法虽然在一定条件下有较快的收敛速度，但每次迭代时都需要计算矩阵的逆，计算量大，不适合求解 大规模无约束优化问题。一般情况下，求解大规模约束问题的有效算法是共轭梯度法。d 由： d‘ 【=( r ． ． 定 ( )(3) 一 g 十 - k≥ 2 确定。其中，g 一 f(x )； 是一标量， 的选取不同构成不同的共轭梯度法。常用的共轭梯度法有HS 方法、FR方法、PRP方法和DY方法。Zoutendijk【_J 证明了FR方法在精确线搜索下是全局收敛的。数 值实验结果表明，PRP方法是数值结果表现最好的共轭梯度法 。也有许多学者对共轭梯度法作了深 入广泛的研究并取得了丰硕的成果 。 笔者提出了一种新的下降算法，修正了公式： 一=—— ————— — 一 (4)， 』 t口 毒一I — t—I口f一 式中，0≤ 1／口。当 一1时即为HS方法，当 一0时，即为最速下降法。 1 算 法 作如下假设：①厂( )在水平集L。一{ ∈R”：厂( )≤f(x )}上有下界。②厂( )在水平集Lc上连续可 微，且g( )是Lipschitz连续的，即存在着常数L0，使得『I g( )～g( )『I≤L『I —Y『I，V ，Y∈R”。 修正后的算法如下： 步1 给定 l∈R“，￡0，令k：：1； 步2 若ll g( )lle，则停止，否则转步3； 步3 由Wolfe线搜索求得 ，由式(1)求得 {，； 步4 由式(4)计算 …由式(2)计算以¨。令k：：k十l，转步2。 [收稿日期]2007一O8—29 [作者简介]喻蝎 (1984一)，女，2006年大学毕业，硕士生，现主要从事最优化理论与算法方面的教学与研究工作。 第4卷 第4期 喻娟等：求解无约束优化问题的～种新的共轭梯度法 2 全局收敛性 引理l 若g ≠0，则由算法中产生的方