基于新拟牛顿方程的改进的BFGS方法.docxVIP

硕士论文 基于新拟牛顿方程的改进的BF(;5方法 9(x，十气叭丫kd之90荟峨. (1.2.5) l(，2.5) 有一个不足之处，当口冲0时，不能导致精确线性搜索为此可用一个 更强的条件，即 阶*+。动『引‘一《.td 显然当口峥0时，上式极限便是精确线性搜索.在本文中用的是 l(，2，)4 和l(.2.5)的形式. ’3 阿弥佳准则: 给定，。，0()1，;二汤，约，:，。，令，一。2l，..，检验不等式 \ ‘少 f(x*)一f(xl+夕。风):洲，呵(丫人x* (1.26) 是否成立，记使得上面不等式成立的第一个m为几，则令 气 =夕、y. 因为人是下降方向，当m充分大时，上面不等式总是成立，因此上述的、总是 存在， 1.3Broydeu族拟牛顿法 拟牛顿法中对于矩阵k+1B的构造有两种方法，即对称秩1校正公式和对称秩 2校正公式.对称秩1校正公式为: R『_。.十区卫达巫二生送. (1.31) 伽*一凡5*y:k 它具有二次终止性的优点，但在迭代过程中迭代矩阵k+1B不能保证正定性，为了 克服以上缺点，提出对称秩2校正公式，其主要形式有三种. SBP公式: +1=tB凡，么竺全业全鱼区二些送一听努丫5*5百.(1.3.2) 5几占七 移全5士) FGsB公式: 凡‘可凡.yk片 (1，33) 刀卜，=凡一 5乏凡5* 十，了一 · 占舌少盈 D即公式: 硕士论文 荃于新拟牛顿方程的改进的BFGS方法 凡+1=凡一凡ks叮kB十华十:s(灿从，[w (1.3.4) 5万ksB， 5上夕七 其中 y* 凡5， (1.3.5) w七=，下一一甲了二一一， ky 浑k s七口士凡 结合BFGs和DFP校正公式，加入参数护得到Broyden族校正公式: 凡+1=凡一凡ks片凡+华+，[B*s*s(从，[w “·36’. 5万凡5; 万ky全 其中护。，01]1.若叮儿0，沪。，只要凡正定，Broyden族校正公式也正定.同 时结合文献〔幻可以证明限制Broyden族校正公式圈(沪。，01))1在wolfe准则下， 对于一致凸函数具有全局收敛和局部超线性收敛的优点. 搜索方向kd是通过解线性方程组 凡人=一9* 得到的，其实这里完全可以避免线性方程组的求解.记kH二耳，，则叽可以写 为 心=一从9*. 记凡+:=从十△万众，并要求从十，满足拟牛顿条件 k+:y*=‘k’H 经推导可得到对应的 BFGS 公式、DFP 公式以及 Broyden 族校正公式.并且当 叮儿。，90时，roydenB族公式具有保持迭代矩阵正定性的性质. 1.4Huang族算法 1970年，uangH〔幻通过将 Broyden族算法要求的条件放松，提出了一类比 Broyden族更广的算法族.他的条件是: )1(矩阵从不要求对称性. 2)(不要求校正矩阵满足拟牛顿方程，而是满足广义拟牛顿方程 k+ly*H=石对k， 其中口〔R. 3)(要求算法应用于二次凸函数 口x)(=生:T份+。r二+。 硕士论文 基于新拟牛顿方程的改进的BFGS方法 时，产生的方向关于矩阵G共扼，从而具有二次终止性. 根据上述要求，他导出了一类含三个自由参数的Huang算法族.当算法中的 kH满足对称性要求且参数中的口=1时，uangH算法族就变成含一个参数的 Broyden族，因此Broyden算法族是Huang算法族的子族. 记校正矩阵为从，迭代方向由 人=一H荟9， 给出.按照上述条件，他导出了Huang族校正公式的形式如下: 万卜，=凡+sk产万+Hoyk可， (1.4.1) 其中 产k=a:15*+a，2可夕* (1，4.2) 叽 =a，25*+a二可儿 (1.43) 且满足关系式 对儿=。以及可y;=一1. (14.4) 关系式1(.4.)4中五个参数l:a，马2，几，a二，口中只有三个自由参数.uangH族校正 公式依赖于这三个参数，选取不同的参数，便得不同的算法，事实上，当口=1， 若让从是对称矩阵，只要l:=a气，，则万卜，也对称，这时uangH族只有一个参数.将a:取为自由参数，若令 l .y妥月Hky。。 (1.4.5) a‘，=万刃宁万万尸不厂口妙k儿少 联合(14.2)(1.4.3)(1.4.4)式可得 0 。‘，， 6一1 a.，=口，1=一-二一一以才之a” =-二尸二，--一· 5二儿 一 y孟打ky* 将这些参数代入(1.4.)1式，便得 、，1一、·袭盛金鉴尸二十“。:从一，六‘，‘，·‘6， 其中 =*t夺 -从y* 5全y众 可H*夕t 这就是关于从的布鲁丹族拟牛顿校正公式·所以在uangH族校正公式中: 令口=1，0=0得a12=aZ，=0，便得DFp校正公式. 硕士论文 基于新拟牛顿方程的改进的BFGs 方法 令口=1，6二1得al:=a21