非凸函数的异步并行拟牛顿算法的收敛性分析.pdfVIP

长江大学学报 (自科版)理工卷 2007年12月第4卷第4期 Journal of Yangtze University(Nat Sci Edit)SciEng V Dec．2007．Vo1．4 No．4 · 5 · 非凸函数的异步并行拟牛顿算法的收敛性分析 陈 忠，黄 亮，范臣君 (长江大学信息与数学学院，湖北荆州434023) [摘要]若假设可供使用的处理机具有P+q台．将其分成两组．两组处理机之间进行异步并行计算。提 出了一种求解非凸函数极小的异步并行拟牛顿算法。若假设目标函数是二阶连续珂微的．二阶导数矩阵 在极小点z 处正定．步长由Wolfe原则确定．证明了所提出异步并行算法的全局收敛性。 [关键词]拟牛顿法；并行算法全局收敛；非凸极小 [中图分类号]()224 [文献标识码]A [文章编号]1673—1409(2007)04一Noo5—04 对于无约束优化问题： minf(x) ER (1) 利用Broyden算法求解问题(1)的迭代格式为： +l— + d (2) 其中，d 为搜索方向，它由公式： d =一Bf g (3) 给出式中，g 是 ( )在 处的梯度 f(x )； 是一个逼近 f(x )的矩阵，它由Broyden公式： =Bk一 +舞 加 (4) 给出。其中，9E Eo，1)为参数； 一gH 一g ； 一_Tr ； 一3g 。 +3g 十6(f,--fk ，)；弘一 十 rkSk； 一1r 1广rkSk 一可 『『 ：Xk+1--Xk；vk一一 一 一 。若B 。右Bo对称正定，则由式(4)产生的迭代序列{ }也是 羽杯止疋’则田瓦‘4 广生明达代J子夕u{ }也是 对称正定的。 在式(4)中若取 一0，则式(4)称为BFGS修正公式。 在式(2)中， 称为步长，它由Wolfe原则确定：固定aE f 0，告)及 ∈(口，1)，选取 使下面的式子成立： 、 ， f(x + d )≤f(x )+aA g T (5) g(x + d ) d ≥ 2’ (6) 若假设／( )是连续可微的非凸函数，且它的一阶导数是Lipschitz连续，文献[1]提出了一种求解非 凸函数极小的异步并行BFGS算法，并证明了算法的全局收敛性。Li和Fukushima E。 提出了一种求解非 凸函数极小的BFGS算法，若假设 ( )连续可微，且 ( )的梯度g( )满足Lipschitz条件，即存在正常数 L，对任意的z， ER 有： Il g( )一g( )Il≤L Il — Il (7) 其中，ll·Il表示Euclidean向量范数。另外，若假设： + ≥e 一0，l，… (8) 其中，e为给定的正常数，文献Ee]i~HYJ了求解问题(1)的修正的BFGS算法是全局收敛构。 笔者给出了～种求解非凸函数极小的异步并行的拟牛顿算法。若假设目标函数是二阶连续可微的， 二阶导数矩阵在极小点处正定，证明了该异步并行算法的全局收敛性。 [收稿日期]2007—08—28 [基金项目]国家自然科学基金项目 Do2o6)；教育部重点实验室开放基金项目 (KLETOR0608)；湖北省教育厅重点项 目 (D200512001)。