应用新拟牛顿方程的信赖域方法.docxVIP

硕士论文 应用新拟牛顿方程的信赖域方法 算法1. 传统信赖域方法 令k。为常数，给定。，，专:h k二1，占:=凡，x*=x。 whilek‘锰且不收敛 令5*表示子问题18)(的近似解。 几 =f(x*+5*)一f(x;) 么(5*) 计几之仇 then x泛+1=xk+5正 i f then 八 =max笼凡，21卜*1} e e s I 么1=+凡; o ) x k + l 乓 几+.=Ilf训 k二k+1 end(while) 信赖域方法的关键为信赖域子问题的求解，算法 1在实际使用中需求解问题 (1.8)，其方法共分为两类，一类是求解子问题的非精确解。他们都是基于寻找使模 型函数的下降量至少比“柯西点”的下降量更好的近似解，这些方法可以分为三类: 折线法，二维搜索方法和预共辘梯度法。另一类是求解子问题的近似精确解。 1.2 子问题的非精确解解法 虽然原则上是要求解问题 1(.)8 的最优解，但实际中只需找到使模型达到充分下降量的点，即使算法达到全局收敛的点即可。基于这一点，POwel在【]7和【01〕给 了柯西点的计算方法，这也是所有近似解法的基础。 柯西点p奋的计算步骤 取向量 p二=一不二毛下j;V占。__ ，计算:，0使得级r(式)在信赖域内达到最小，即 朋J*V翻 几=arg嚓么(r风) 5，.卜，;1}‘几 (1.9) 硕士论文 应用新拟牛顿方程的信赖域方法 令成=r，人，下面给出:*的具体取法: 如果vf*TB*vf*‘0，此时县(:夕尝)随:单调递减，取:*=1:反之，k(:Q尸之) 是关于r的凸二次函数，故r、取值}!vfxo，(/凡叨凡叭)或1。即柯西点式是模型在 负梯度方向的最大下降量点，有下面取法， 占。 __ P鑫=一1、石才二而j*v， lvJ、1{ 产 ! rkfv 凡叭列 r 咤 - I in(1叭1，/(爪叨凡认)，1)其他 t  (1.10) (1.11) powel(1970)在17]和[10]中提出折线法，即当凡正定的时，powel用一条折 线来近似:，其做法是连接柯西点(即最速下降法产生的极小值点)与全步长(即么 的无约束最小值点x*一耳，9*)，取其连线与信赖域边界的交点为k+1x.Denis和Mei (1979)[201发现，如果在信赖域迭代中产生的点一开始就偏向于全步长方向，则算法的性态将得到进一步改善。于是，他们将柯西点和全步长方向上的一点N连接起 来，并将这个连线与信赖域边界的交点取为、+，，称为双折线法。 二维子空de’I搜索方法由Byra，Schnabel和 sc加ltz(1985)[12][13]提出，即当kB 正定的时，在由最速下降方向和全步长方向张成的子空间Pan[9*s，凡，9*1上求解目标函数的极小值;当B*有负特征值时，在子空间Pantg*s，B*+al)(一，9*〕上求解目标 函数的极小值，其中ac卜凡，一2几1凡为B*的最负特征值;当凡有零特征值无负特征 值时，取柯西点为近似解。被认为是无界折线法。张建中和徐成贤给出另一种无界折 线法17]。 以上方法均要求解包含B*或(凡十l)a线性方程组。当B*较大时，求解过程较为困 难，因此人们便考虑求解问题 l(.)8 近似解的其他方法，并产生优于柯西点的解。 teihaugs (1983)[381首先提出预共辘梯度法，是指运用共扼梯度法去求解问题l(.8)。 如果所有迭代点列都在信赖域内部，则它就是共扼梯度法，此时方法终止于信赖域内 部。否则迭代点可在信赖域外算得一个凡负曲率方向，无论哪种情况，我们都能在 边界上解得一个修正步长。袁亚湘27][证明了算法的解具有充分的下降量。 13. 子问题的近似精确解解法 上述方法均用于求解问题 (，.8)非精确解，由于都至少比柯西点好，他们的共同优点是求解代价不高而又具有全局收敛性。因而当问题规模不大时，便提出了求解 问题1(.)8的近似精确解并进一步挖掘kB信息的想法，以达到更大的下降量和更快 的收敛速度，如超线性收敛。 下述结论由Hebdenl37]，Flecher【1980]，Gay[221，Sorensen[34】相继研究得出， 4 硕士论文 应用新拟牛顿方程的信赖域方法 给出了问题 (，.8)的解存在的充分必要条件. 定理tl设向量p*是问题(1.)8的解当且仅当卜*1，‘凡且存在八‘0满足 (凡+八1)p*=一9*， (1.12) 产*(凡一1巨*12)=0， 且k+B八1至少半正定。 推论1.2 定理1.1中的标量巧存在且唯一 证明:由于集合I152‘s{入}是一个紧集，所以问题1(8).的最优解存在。因此 根据定理1可知存在巧之0及向量p*满足 (Bk+产1，)夕*=一9* 和 产1(么一1卜*平2)=0， 及凡+从1半正定。 设产2是满足定理1(