无约束优化问题精细修正牛顿算法.pdfVIP

高校应用数学学报 2011，26(2)：179—186 无约束优化问题的精细修正牛顿算法 万 中，冯冬冬 (中南大学 数学科学与-／t-~tg,．学院，湖南长沙410083) 摘 要：针对牛顿法在求解一般非凸函数极小值过程中，迭代点处Hessian矩阵不一定 正定的情况，提出了一种精细修正的牛顿法．该方法充分利用迭代点处 目标函数的一 阶、二阶信息，合适选取搜索方向，是最速下降法、牛顿法和已有修正牛顿法相混合 的一种方法．在较弱的条件下建立了算法的全局收敛性．进一步的数值实验验证了提 出的算法比以往 同类算法计算效率更高． 关键词：算法；无约束最优化；修正牛顿法；全局收敛性 中图分类号：O221．1 文献标识码：A 文章编号：1000—4424(2011)02．0179—08 §1 引 言 各类数学规划优化问题，如线性规划、非线性规划(约束／无约束)、随机规划、二次规划等， 是管理科学与工程、运筹学、决策科学和博弈论等研究中热点和难点．在经济管理、交通网络 工程、人工智能、机器学习等管理和科学工程领域具有深厚的研究背景，文献 1『—21对其基本理 论和方法已进行了较全面和深入的阐述． 作为最基本最重要的求解无约束优化问题的方法，牛顿方法及其各种改进一直受到优化研 究工作普遍关注．如文献 3『—5]等研究了利用非精确牛顿法求解非线性方程组；文献f6—81等研究 了求解互补问题的牛顿法与非精确牛顿法；文献r1_2，91等研究了求解无约束优化问题的修正 牛顿法；文献fl0—121等提出了求解无约束优化问题正则牛顿法．概括地说，牛顿法的主要优点在 于其至少具有二阶收敛速度，需要弥补 的不足是算法产生的迭代点处，目标函数的Hessian阵不 一 定正定，修正牛顿法，正则牛顿法正是朝这个方向作出的努力． 本文将在前人对修正牛顿法已进行的研究基础上，针对如下一类无约束优化问题 min，()， ∈R”， 其中．厂：R 一 R下的二次连续可微函数，提出一种精细的修正牛顿法．同以往方法的相比，该方 法将充分利用迭代点处目标函数的一阶、二阶信息，综合借鉴最速下降法、牛顿法和已有修正 牛顿法三种方法的优点，合理选取迭代点处的搜索方向．我们还将在一定的条件下建立了该算法 的全局收敛性，并用数值实验验证其计算效率． 收稿 日期：2010．08—27 修回日期：2011一Ol一17 基金项目：国家自然科学~ 70921001) 180 高校 应 用数 学 学 报 第26卷第2期 §2精细修正牛顿法 首先，根据迭代点处 目标函数的一阶、二阶信息确定搜索方向． 假设 是当前迭代点．计算 处 目标函数的梯度gk=Vf(Xk)~-DHessian阵Gk= f(Xk)． 若gk=Vf(xk)≠0，且Gk是正定矩阵，则根据 目标函数的二次连续可微性知道，目标函数 在X附近是严格凸函数．这时选取牛顿方向 dk= 一G gk 为搜索方向；若G 负定或半负定时，则说明目标函数在Xk附近是凹函数．这时，我们选取最速下 降方 向为搜索方向，即 =一gk；若G 是不定或半正定矩阵，我们采用如下方式来构造G 的修 正矩阵，使之正定． 因为G 是实对称阵，故存在可逆矩阵 ，使得 G％ 为对角阵．记对角线上非零元素 为 (实际上就是 。I厂()的非零特征值)，i=1，2，… ，s 佗，即可写成 } 0 … 0 0 ．．． 0 0 2 … 0 0 ．．． 0 ●