求解无约束优化问题的一类新的下降算法.docxVIP

2 塞壁垂垫塞垡丝鲤望鲤=耋堑盟工睡蔓婆 下面我们给出全局最优解和局部最优解的定义 定义1．1若矿∈D具有性质：Vx∈D，均有f(27)2，(∥)，则称27*为问题(1．1)的全局最优解． 定义1．2若矿∈D具有性质：存在∥的某个邻域批(矿)：扣川。一 矿||味其中60为某个正数，使得Vx∈Dn％(r)，均有，江)f(27-)， 则称∥为问题(1．1)的一个局部最优解． 当目标函数，(z)是凸函数时，局部最优解就是全局最优解．但在一般情形下找出全局最优解非常困难，通常在非线性优化中我们认为局部最优解即为所求的解．在实际的算法中，我们通常是找出满足局部最优解的必要条件的点．下面我们给出这些必要条件。 引理1．11211(无约束优化一阶必要条件) 若∥为问题(1．2)的一个局部最优解，且在∥的某个邻域内，(z)E C1则 g(x+)=0． (1．6) 引理1．2【21】(无约束优化二阶必要条件) 若矿为问题(1 2)的—个局部最优解，且在矿的某个邻域内，(z)E C2，则 g(矿)=vS(x‘)=0，G(矿)=v2f(27+)≥0 (1_7) 由于一般约束优化问题的必要条件叙述起来比较复杂 我们仅给出一个最常用的一阶必要条件． 引理l，3[21l(Kuhn—Tucker必要条件) 若矿为问题(1．3)一(1．5)的一个局部最优解，又vQ(矿)G∈L2uJo(27*))线性无关，则必存在向量∥=(“长琏， ，戚一使得 V，(∥)+∑越v ci(x+)=0， (1．8) ，l；≥0，p；审q(z’)=o，i∈L1 (1．9) 求解无约柬优化问题的一类新的下降算法 3 1．2无约束优化的导数下降类算法 导数下降类算法是求解无约束问题： Ⅻmin，。m) (1 10) 常用的一类算法，它的基本思想是：对于已有的迭代点％首先确定一 个搜索方向d。，使得目标函数／(x)的值沿该方向是下降的，然后确定沿 也方向行进的步长nt并得到下一个迭代点z川=zk+akdm． 在这里，我们要确定的搜索方向应满足： v，(z女)7dk0 (1．11) 以使／(x)在‰点沿以方向下降． 确定n。的过程就是线搜索(也称一维搜索)的过程，精确的线搜索就是在如方向上寻求“最优”的行进距离，使得 f(zk+akdk)2 m。in，f(xk+d九) (1·12) 非精确线搜索不要求上式成立，而仅要求找到的Ot。能使目标函数在某种意义上达到令人满意的下降． 常用的非精确线搜索有Wolfe线搜索和强Wolfe线搜索以及Grippo线搜索等． Wolfe线搜索的形式如下： ，(zk+akdk)≤，(z≈)+CuingTdk， (1．13) g(xk+akdk)7dk≥agTd≈ (1．14) 其中0P口1．若将(1．14)换为 g(z＆+Otkdk)7dk l≤一口9}d≈， (1．15) 则为强Wolfe线搜索． Grippo线搜索形式为：固定0c11c2，选取d女满足： f(zk+akdkl≤，(z^)一n(ak)2lidkll2 (1．16) 一c2119(xk+nkdk)旷≤g(xk十akdk)7d(xk+akd女)s—c1I旧(z≈十nkdk)llel．17) 4 垄叠垂垫塞垡些囹望鲤=耋煎盟工堕蔓鎏 下面我们介绍几种常用的导数下降类算法 最速下降法 取dt=一9(z*)，即每一步都以负梯度方向作为搜索方向．因为负梯度方向是目标函数值下降最快的方向，所以该方法称为最速下降法．这种方法每次选代的运算量不大，并且初始点z。不用很接近最优点矿，但是其收敛的速度往往很慢，并且容易出现锯齿现象，当问题的条件越坏时，收敛也就越慢． 共轭梯度法 共轭梯度法是求解无约束优化问题。ra。胛in，(z)的—类非常有效的方法．当目标函数，(z)连续可微时，其迭代格式为 z女+l=z≈+n^dk， (1．18) 其中 虻毖--gk+徘。，蓦 (119) 熊为一标量，关于纨的典型公式有： ∥=牌(Fletcher-Reeves)， (12。) 簏8 2瞥(P0lak-Ri雠re-Polyak)，(1-21) 这里弧=V，(zt)，dm代表搜索方向． ¨ll表示欧氏范数． 当，(z)为二次凸函数时，适当选择系数凤，使得d*与dt，d2， ，d一 关于，(z)的Hessen矩阵共轭．当at是由精确线搜索确定的步长时，共轭梯度法具有二次终止性．然而当目标函数为一般的非线性函数时，即使在精确线搜索下，某些共轭梯度法的收敛性也很难保证．在文献121中A1一Baaii证明了Fletcher—Reeves方法具有全局收敛性，但是Powell在 [1 3]中指出，即使采用精确线搜索，Polak．Ribi6re—Polyak方法也不具有全局收敛性，但此方法具有良好的数值表现1w． 壅签垂垫壅龇回壁鲤=耋堑煎