WORD论文原稿】基于共轭方向的最优化算法.docVIP

基于共轭方向的最优化算法 潘鑫 天津工程师范学院数理系，天津 (300222) E-mail：panxin1943@ 摘 要： 本文给出了一种基于共轭方向的最优化方法。可以证明这种方法无需精确线搜索 就具有二次终止性。新算法运行过程中只需存储 4 个向量故适用于大型优化问题。数值实验 表明新算法是有效的。 关键词：最优化 大型优化问题 共轭方向 二次终止性 中图分类号：90C 1. 引 言 求解最优化问题 min f ( x) 的各种方法中，共轭梯度法（CG）结构简单且具有较快的 x∈Rn 收敛速度，在实际应用中被广泛采用。它具有两个显著的特点：（1）存储量小，适合于求 解大型优化问题；（2）当采用精确线搜索（E.L.S）求步长时，算法具有二次终止性，这某 种程度上反映了算法具有较快的收敛速度。 共轭梯度法搜索方向的生成一般可表示为 dk +1 = ? gk +1 + βk dk 式(1.1)中 gk +1 = ?f ( xk +1 ) ， d1 = ? g1 ，而 βk 由以下共轭条件生成  (1.1) k Gk +1dk +1 = 0, k = 1, 2,...  [1][2][3] 其中 Gk +1 是 f 在 xk +1 处的海塞阵。不同的共轭梯度法给出不同的 βk 的表达式 。 g T g βk =  g T g (1.2) k +1 k +1 k k T βk = gk +1 ( gk +1 ? gk ) T k k  (1.3) g T ( g ? g ) β = k +1 k +1 k k d T ( g ? g )  (1.4) 由于使用E.L.S求步长工作量太大，目前的下降算法尽可能采用非精确线搜索（I.L.S），而 对于一般二次函数，共轭梯度法采用I.L.S时不能保证总体收敛性[4]；即使对于正定二次函数， 采用I.L.S时，算法的二次终止性也丧失了[5]，从而影响了算法效率。 例 1： 对 2 元正定二次函数 f ( x) = 1 xT Ax + bT 2 x ，其导函数为 g ( x) = Ax + b ，设{d1 , d2 } 是 A-共轭的线性无关的向量组。下面从 ELS 和 ILS 两种情形观察共轭搜索方向的效率。 ? ? ? 情形 1：从任一初始点 x1 出发，先沿 d1 作 E.L.S，得步长 α1 ，则有 x2 = x1 + α1 d1 ，且 ? T ? ? ? ? ? T g ( x2 ) d1 = 0 ；再从 x2 出发沿 d2 作 E.L.S 得步长α 2 ，有 x3 = x2 + α 2 d2 ，且 g ( x3 ) d2 = 0 ； 由 g ( x) 的线性性及 d1 , d2 的共轭性，有 ? T ? ? T ? T g ( x3 ) d1 = ( g ( x2 ) + α 2 Ad2 ) d1 = g ( x2 ) d1 =0  进而有 g ( x? ) = 0 ，则 x 是 f ( x) 的极值点。这说明精确线搜索时共轭方向是好的搜索方向。 情形 2：从相同的初始点 x 出发，先沿 d 作 I.L.S，得步长α ≠ α ? ，从而 x = x + α d ； 再从 x 出发沿 d 作 E.L.S 得步长α ，有 x = x + α d ，且 g ( x )T d2 = 0 ；而 T T ? ? T T ? g ( x3 ) d1 = ( g ( x2 ) + α 2 Ad2 ) d1 = ( g ( x2 ) + A( x2 ? x2 )) d1 = d1 A( x2 ? x2 ) ≠ 0 故 g ( x3 ) ≠ 0 ，从而 x3 非 f ( x) 的极值点。这说明若第一步步长非精确，则即使其后迭代采 用精确步长，也不能弥补非精确步长造成的误差。此例表明了共轭梯度法在采用非精确线搜 索时会丧失其二次终止性。 倘若第二次搜索方向在 d2 上做一点修正，取 p2 = d2 + γ d1 作为搜索方向，αl 为步长，得 xl = x + αl p ，则 l T T l T T ? l T g ( x3 ) d1 = g ( x2 ) d1 + α d1 A(d2 + γ d1 ) = d1 A( x2 ? x2 ) + αγ d1 Ad1 只要适当地选取αl ， γ ，就可有 g ( xl )T d = 0 ， g ( xl )T d = 0 ，而与第一