两种新的非单调线搜索方法.docxVIP

1.2 关于优化问题的一些已知结果 在上述的基本迭代格式 (1.1.2) 中，有了下降方向砂之后，我们就需要确定步长 叽 . 。、的选取是非常重要的，有时一个算法实际效果的好坏就取决于步长 a 、的选取 . 理 的步长 a * 应满足 : f(xk + a *dk) = m 运 f(xk + a dk) 0 0 我们称这种选取 。* 的方法为精确线搜索方法. 精确线搜索方法从理论上看是比较理想的选取步长 。* 的方法，但在实际计算中有时是困难甚至是不可能的. 因此，许多学者都进行了非精确线搜索的研究，主要方法有 Ar m ijo 准则、Wo lfe 条件、G oldstein 条件等，我 们简要回顾一下这三种非精确线搜索的内容. A rm ijo 准则 : 取占 o，a 〔(o，1)，甲任(0，l) ，令 a* = m ax{sah，h = o，l，… ，} 使 得下式成立 f(xk+ a 、dk) 兰f(x无)+ :a 、v f(x儿)T己k Wo lfe 线搜索方法 : 取 ￡ 0，。任(0，l) ，令 a* = m ax{、h，h = 0，1，… ，} 使得下面两式 成立 f(xk 干a 、d灸) 三f(xk)+ ela*v f(xk)Td无 f(二“+ a*护)T扩全c2v f(二“)丁扩 中，cl，c2 是满足 0 cl c2 1 的常数 . G oldstein 步长准则 : 取 3 0，a 〔(o，l) ，令 。* = m a二{sah，h ==O，l，… ，} 使得下式成 立 f(x无)+ (1 一c)a*v f(xk)Tdk 兰f(xk + a*dk) ‘f(xk)+ ca*v f(xk)r、k 其中，0 。 合. 可以看出，由 Ai·m ijo 准则、从乞lfe 条件和 G old就eill 准则所确定的步长 a 、与参数 、，0，守的选取有关 . 由非精确线搜索产生的步长 a 、一般为可接受步长 . 通常，当迭代点 离最优解很近时，如果 a 、是当前的可接受步长，则 a* 或 Pa ; (0 p l) 往往可以作为 下一个可接受步长 . 每逢这样有利的情形，步长的计算就显得简单易行了 . 我们由 A rm ijo 准则、W 61fe 条件、C oldstein 准则所产生的迭代序列，其目标函数满足 : f(:人+，) ‘f(xk)， k 全 1 我们称这样的步长选取方法为单调线搜索方法，详细内容可参阅 !1，6，14}. 1986 年，意大利三位数学家 G rippo、Lam paxiello 和 Lueidi首次提出了关于 N ewton 法的非单调线搜索方法，其形式为: 取 ￡ 0，a 〔(0，l)，守〔(0，l) ，M 是一个非负整数， “、一m ax{sah，h = o，1，… ，} 使得下式成立 f(x‘+ a“尹)三。盟 、)f(x无一，)+ 守a“v f(x无)Td无 其中，n‘(o) 二o，0 丛n‘(k) 三m in{n‘(k 一l)+ 1，M }，详细内容可参阅 {81. 由此方法产生的序列，其目标函数值并不一定是单调非增的. 在一些实际情况下，非单调线搜索方法还是有重要的实际应用的. 自此之后，非单调线搜索方法就成为研究的热 点，本论文就提出了关于无约束优化间题的两种新的非单调线搜索技巧，并且给出了由此线搜索技巧而生成的算法的全局收敛性证明. 第二章 两种新的非单调线搜索方法 2.1 算法 1 的内容及其收敛性证明 关于无约束优化间题 m in f(x) (2.1.1) 其中了(司为 n 维欧氏空间中的一个连续可微函数.本文主要提出了两种新的非单调线搜 索技巧，运用这两种线搜索技巧生成的迭代算法去解决此间题.算法 1是在文献 [s1 的基础 上，对迭代格式中每一步函数值的下降量进行了改变; 算法 2 是利用了目标函数的 H esse 阵和拟 N ew ton 法的一些技巧而提出的非单调线搜索方法.首先，我们假设问题 (2.1.1)有 解; 其次，为了证明算法 1 和算法 2 的全局收敛性，我们需做一些基本的必要的假设，并 且这些假设条件都是合理的. 假设条件为: 水平集场 = {二:f(x) 丛f(xo)} 为紧集. 存在常数 el，勿 0，对 V 无全l，有: v j(扩)T扩三一clIIv j(扩)lIz 11护11兰。1Iv f(x介)}I 下面，我们给出算法 1 的内容，然后证明其收敛性. 算法 1 第 。步 : 取 ， 0，o a 1，0 ， 1，尸任俨，天:= 仇 1 步: 若 !}v f(xk)}!二o，则停止; 否则，转第 2 步. 2 步: 取 a* = m axl，沪，h = 0，1，… ，1 使得下式成立 f(xk + 。。hdk) 兰