記忆梯度算法的改进.docVIP

中国石油大学（华东） 硕士学位论文 记忆梯度算法的改进 姓名：刘丽敏 申请学位级别：硕士 专业：数学 指导教师：孙清滢 201205  ?瓹．非单调曲线搜索的记忆梯度 算法，并给出了算法的全局收敛性分析和算法的超线性收敛性分析．与一般的记忆梯度 ?瓹．非单调技术替换为??甖．非单调技术， 建立了求解大规模无约束最优化问题的非单调记忆梯度新算法，给出了算法的全局收敛 性分析．数值例子表明算法有效稳定．  ???????? ??? ????????? ???? ??? ???? ??? ??????????．? ??? ??????????????．? ?? ???? ? ?? ?? ??????? ?? ? ??? ????????? ? ??????? ? ???? ??? ?瓹：?????????? ??? ????? ?????? ???????????瑃? ????? ??? ??????????? ? ??? ??????? ??? ???? ??? ??? ? ? ????? ? ?琤?? ?瓹．?????? ??????????琣???? ?? ?? ?甖．?????? ????????? ???? ?????? ??? ??????  第一章 前言 ??引言 ?—? ?是一阶连续可微函数． ??记，?梯度法简介 ??。?胍荤柯堪?也?缈???畃 ??┮徊省?????蓿?髌耙弧? 其中国???珹???—?? ??． 实际上，记忆梯度法是共轭梯度法的一种变形和改进，它具有比共轭梯度法更快的 与共轭梯度法相比，该类算法增加了参数选择的自由度，由此更有利于构造快速稳定的  第一章前言 ????是求解非线性优化问题最有效的方法之一，是 拟牛顿法???．??? 于求解大规模的优化问题有时会产生数值困难． 共轭梯度法????????? ????? 提出的，后来用于求解无约束最优化问题，它是一种重要的数学优化方法．此类方法是 之间，它仅需利用一阶导数信息，既克服了最速下降法收敛慢的缺点，又避免???? ?  上指明超记忆拟牛顿法只是超记忆梯度法的一个分类，并阐明了超记忆拟牛顿法的数值 时贞军‘引设置搜索方向的参数为屏?恬。?内???一昭?甦¨??⒃谇縒??线搜索下  步长搜索规则，扩大了参数的取值范围，并在目标函数的梯度一致连续的条件下，证明 了算法的全局收敛性，同时提出了带误差项的结合拟牛顿方程的记忆梯度算法．??年， 孙刨?】提出了一种修正的超记忆梯度算法，该算法在无需线搜索条件下，迭代方向就是 充分下降方向，并且迭代方向保持夹角性质．??年，汤京永和董丽【??赪??线搜索 下证明了记忆梯度算法的全局收敛性．近年来，记忆梯度算法成为一个研究的热点，具 体见文献????． ??年，时贞军删对无约束优化问题提出了对角稀疏拟牛顿法，新算法在计算过 法的全局收敛性和超线性收敛性分析，数值例子表明新算法适合求解大规模无约束最优 ??对角稀疏拟牛顿算法 标函数的???卣蠛湍婢卣螅?莋?????，????，迭代公式为 以???吼巩， ?—? 其中，％为搜索步长可且通过某种策略确定；搜索方向为  中国石油大学?6?硕士学位论文 风??是一个数量矩阵提出了两点步长梯度法．之后，很多学者对此类算法进行研究， 正定矩阵提出了对角稀疏拟牛顿算法，使算法存储量降为??，使其利于求解大规模 对角稀疏拟牛顿算法： ?∥?，?，而∈?保琸：?； ??????谝?≥一??矾． 或者 色??或， 峨?只?． 其中只???耄琘★?川?々，吼???弧耄?是一个对称简单矩阵，并且给出 ?．? ??????? ???  给出另外一种新的取法： ??? ????、 形式： 为对角矩阵且要求近似满足非拟牛顿条件： 蚓惋，???’????????苅??魄。???兄。一??· ??非单调技术 ?  ???????⒊?％。?阮耵??吨· 调???线性搜索准则．后来，许多文章都采用了这种非单调的线性搜索准则，见文献 非单调技术的一个特点就是，在算法中不要求函数值单调减少，而是对步长因子的 选取给出一个更具弹性的条件，但仍能保证算法的收敛性．从数值结果来看，特别是对 一些比较困难的问题，例如，当迭代点列处于弯曲而狭窄的谷底时，非单调搜索比单调 搜索数值表现要好．由于非单调算法在实际中获得了很好的计算效果，很多学者都对它 ????，?甕 ?甈???珹．?? ??本文的主要工作 第二章基于修正拟牛顿方程?．?，利用稀疏对角拟牛顿技术和记忆梯度算法思想， 用前一次迭代方向去修正一日。?５玫剿惴ǖ牡??较颍?岷锨?咚阉鞑匠す嬖蚝蚙?? ?瓹．提出的非单调技术，建立求解无约束最优化问题的非单调记忆梯度新算法，