非光滑分析和优化发展概述.docVIP

非光滑分析和优化发展概述 　　【摘 要】本文首先概述了最优化与非光滑优化问题的不同之处，然后介绍了两种非光滑分析与优化的方法，最后对几种典型的求解非光滑分析与优化问题的算法进行了阐述。 　　【关键词】最优化；非光滑分析与优化；算法 　　0 引言 　　最优化是一门应用非常广泛的学科，是研究决策问题的最好选择，是寻求最佳解的一种求解方法。随着电子计算机技术的飞速发展，这门学科在经济领域、工程设计、生产领域、交通运输等各领域都得到了广泛的应用，受到工程技术人员、管理工作和研究人员高度重视。 　　经典的最优化理论主要是针对光滑函数而言的，但是，这些条件对于许多实际问题来说太强了。在实际中所涉及到的很多函数都是不可微的，也就是非光滑的。 　　在光滑问题中，每一个点处下降方向都较容易得到，如通过梯度、共扼梯度、投影梯度等可以得到。在非光滑优化中，我们经常碰到目标函数在某一点没有通常意义下的导数。因此，Clarke提出利用广义梯度（或次梯度）代替导数。这光滑优化中基于梯度的方法推广过来解决非光滑问题。但对非光滑优化问题而言，由于负次梯度可能是上升方向，加之次梯度的计算要比导数的计算困难，所以要实现迭代点的下降一般不容易。 　　1 非光滑分析与优化的方法 　　解决非光滑优化问题的方法大致分为两大类：次梯度方法与捆集方法。这些方法都设定目标函数是局部Lipschitz连续的，并且在任意一点要计算出函数值和任意一个次梯度。次梯度方法的基本思想是推广光滑优化的方法用次梯度代替梯度。由于此算法结构简单，次梯度方法被广泛应用。但是此方法也有缺点：首先，负次梯度方向可能是一个上升方向，线搜索不能用来帮助确定步长；其次，在最优解的邻域内，任意点的次梯度范数可能变大，缺乏基于次梯度的有效法则。 　　捆集方法的基本思想是利用一些次梯度来构造对非光滑函数的分段线性逼近，假设目标函数是局部Lipschitz的且在任一点可以求出目标函数的函数值f（x）以及次微分？坠f（x）中的任意次梯度。这些次梯度用来构造目标函数的一个局部的分段线性逼近模型。这个模型的下降方向，也就是目标函数的下降方向，可以利用解一个二次规划问题得到求得。再判断算法是否可以应该停止。捆集方法对于非光滑凸优化十分有效，对一般非光滑非凸最优化问题的研究，有出现许多关于更专业问题的论著，包括非凸多面体函数[1]，凸光滑复合函数[2-3]和拟――可微函数[4]。 　　2 非光滑分析与优化发展概述 　　非光滑分析与优化随着运筹与控制研究与应用的发展而快速发展。20世纪五、六十年代较为有影响性与奠基性的工作为凸分析，以Fencel，Rockafellar等为代表[Rokafellar（1970）]；极大极小问题，以Pshenichnyi（1969/1970）和Demyanov，Malozemov（1972/974）等为代表；不可微函数（包括Lipschitz函数）的极小值算法，以Shor（1974-1970）及Poljak等为代表。这样，凸分析得到不断完善，Lipschitz函数及极大值函数的微分性质与极值问题的研究也不断深入，逐渐形成了一个新的热点，带来20世纪70年代的系统地广泛地研究与发展。70年代初Clarke（1973/1975）关于Lipschitz函数微分学的研究有了突破性的进展，以Lipschitz函数为主的不可微分析与优化已经形成独立的研究方向，许多的研究成果将工作推向高潮。 　　Clarke的文章“Generalized gradients and applications”（Trans.Amer.Math.Soc.，205（1975），247-262）和Balinski，Wolfe主编的“Nondiffrentiable Optimization”（Math.Prog.，1975，Study（3））成为转折的标志。直至八十年代初，这一方向的研究工作一直非常频繁，迅速扩展到各个专题。大致可分为这样几个方面（专题）：扩充不可微函数类，参阅Hiriart-Urruty（1985）；不断扩展Lipshcitz微分学（如几何理论，中值定理，隐函数定理，通过变分原理来建立极小化的Frizt Jorhn/Knhn-Tucker最优性条件等）及其应用；算法（如Bundle方法），主要研究凸函数地极小化算法（如以Lemarehal为主要代表）；应用方面的研究，包括控制论（如Clarke），大规模大系统分解问题以及数理经济学（如Aubin）的研究等。八十年代初以Lipshcitz函数为主，得到不断的发展和完善，这以Clarke的专著《Nonsmooth Analysis and Optimization》（1983）为标志。八十年代中期以后，研究应用的课题成为主要的研究课题，如Cl