扩展的拟牛顿法.pdfVIP

第 21卷第 4期 纺 织 高 校 基 础 科 学 学 报 Vo1．21，No．4 2008年 12月 BASICSCIENCESJOURNALOFTEXTILEUNIVERSITIES Dec．，2008 文章编号：1006—8341(2008)04—0487—05 扩展的拟牛顿法 刘 伟 ，张 兰 ，赵陆一。 (1．西北大学 数学系，陕西 西安 710127；2．西安航空职业技术学院 基础部，陕西 西安 710089； 3．陕西省生产力促进中心，陕西 西安 710054) 摘要：拟牛顿算法被认为是当今解无约束最优化问题的最有效方法之一，它产生了一系列对 目标 函数二阶导数的近似矩阵B抖 ．校正产生的B蚪 其实质是在 的基础上加一修正矩阵A ，即 B抖 一Bl+A ．研究了A 应满足什么样的条件，给出了满足该条件的AI的3种公式及6种合适 的选取． 关键词 ：无约束优化 ；拟牛顿方程 ；全局收敛性 中图分类号：O242．2 文献标识码 ：A 考虑无约束优化问题 minf(x)，其中z∈R”，f：R”一 R是一个连续可微函数． 牛顿法是利用 目标 函数二阶 Taylar展开，并将其极小化．在每次的迭代 中，均需计算 目标 函数 的 Hessian矩阵．在实际计算 中，计算Hessian矩阵工作量大 ，并且有些 目标 函数的Hessian矩阵很难计算，甚 至不好求出，于是 Davidon提出用一对称正定矩阵近似代替Hessian矩阵或其逆矩阵的方法．这一对称正 定矩阵得到的是基于 目标函数的一阶导数信息，它满足方程 B蚪1sI— Y^， (1) 其中 = 抖一 ，Y=g抖。一g^； 是 目标函数厂在 点处的梯度值；B抖1为第忌+1次迭代时，Hessian 矩阵逆矩阵的近似矩阵．方程(1)被称为拟牛顿方程。 基于方程(1)，不同的迭代得到诸如 SR1，BFGS，Broyden族等校正公式． (1) SR1校正公式Ⅲ：B蚪1一BI+( 一B^s^)( 一BS^)／E( 一B^s^) ]， (2) BFGS校正公式 ：B抖1一BI+YkyT．／(…TS)一BSsln^／(daS)， (3) Broyden族校正公式[1]：B抖l—BI+ ^yl／( ^)一B^s^sTB^／(sIBS)+ ∞∞ ， 其中 tO^：(s ) Ey~(slyI)一BS^／(sIB^s^)]． 方程(1)仅利用了梯度值的信息，而忽略了函数值的信息．作为对方程(1)的改进 ，文献[2—5]提出了 新拟牛顿方程 B抖lst一 ， (2) 其中 件。一Y+ ( ／sls) ； 一3g s+3gls+6(^一 )； 是 目标函数在点Xi处的函数值． 校正公式为B ：B+ 多2’／(多 )一 st ／(s[es)+ 国t国2’，其中国^一(dBt)。[多^／( ) 一 B^ ／(sIB^s^])． 不论基于传统拟牛顿方程(1)的校正公式还是基于新拟牛顿方程 (2)的校正公式 ，校正产生B抖 的实 质是在B 的基础上加一修正矩阵A ．即B抖。一B +A．所以，若能知道A 满足什么样的条件 ，基于该条 件选取合适的A ，自然就能得到令人满意的B外．本文研究A 所满足的条件和如何选取A 才能得到比较 收稿 日期：2008—07—02 通讯作者：刘伟 (1982一)，男，陕西省榆林市人，西北大学硕士研究生．E-mail：liuweider@163．corn 488 纺 织 高 校 基 础 科 学 学 报 第21卷 满意的B抖。．文中范数为欧几里得范数． 1 A 满足的条件和选取公式 设B抖 =B +A ，令其满足拟牛顿方程Bk+l 一Y，则 sl(B。+A)st=dY,，从而有