带约束的非线性优化问题解法小结.docVIP

带约束的非线性优化问题解法小结 考虑形式如下的非线性最优化问题(NLP)： （1） 其中，，，，，。 上述问题（1）是非线性约束优化问题的最一般模型，它在军事、经济、工程、管理以及生产工程自动化等方面都有重要的作用。非线性规划作为一个独立的学科是在上世纪50 年代才开始形成的。到70 年代，这门学科开始处于兴旺发展时期。在国际上，这方面的专门性研究机构、刊物以及书籍犹如雨后春笋般地出现，国际会议召开的次数大大增加。在我国，随着电子计算机日益广泛地应用，非线性规划的理论和方法也逐渐地引起很多部门的重视。关于非线性规划理论和应用方面的学术交流活动也日益频繁，我国的科学工作者在这一领域也取得了可喜的成绩。 到目前为止，还没有特别有效的方法直接得到最优解，人们普遍采用迭代的方法求解：首先选择一个初始点，利用当前迭代点的或已产生的迭代点的信息，产生下一个迭代点，一步一步逼近最优解，进而得到一个迭代点列，这样便构成求解（1）的迭代算法。 利用间接法求解最优化问题的途径一般有：一是利用目标函数和约束条件构造增广目标函数，借此将约束最优化问题转化为无约束最优化问题，然后利用求解无约束最优化问题的方法间接求解新目标函数的局部最优解或稳定点，如人们所熟悉的惩罚函数法和乘子法；另一种途径是在可行域内使目标函数下降的迭代点法，如可行点法。此外，近些年来形成的序列二次规划算法和信赖域法也引起了人们极大的关注。在文献[1]中，提出了很多解决非线性规划的算法。下面将这些算法以及近年来在此基础上改进的算法简单介绍一下。 1.序列二次规划法 序列二次规划法，简称SQP方法.亦称约束变尺度法。这类方法最早从1963年Wilson的研究开始，70年代由Han与Powell做了奠基性的工作，经过二十几年的发展，目前已形成了一个理论上比较完整，计算上可行的WEP方法。它是目前公认的求解约束非线性优化问题的最有效方法之一，得到广泛的重视及应用。但这种方法也有其不足之处，即其迭代过程中的每一步都需要求解一个或多个二次规划的子问题。一般地，由于二次子规划的求解难以利用原问题的稀疏性、对称性等良好特性，随着问题规模的扩大，其计算工作量和所需存贮量是非常大的。因此，目前的序列二次规划方法一般只适用于中小型问题。另外，由于大型二次规划问题的求解通常使用迭代法，所需解的精度越高，花费的时间就越多，稳定性也越差，相对线性方程组的求解理论来说，二次规划的求解方法是不完善的，这就严重影响了序列二次规划算法的效率。 针对上述问题，近年来国际上，特别是国内部分研究工作者[2,3,4,5,6]开展了序列线性方程组(Sequential Systems of Linear Equations，简记SSLE)算法的研究，试图用若干同系数线性方程组代替二次子规划以求得迭代方向，在保证与序列二次规划算法具有相同收敛性质的情况下，大大减少了每步的计算工作量，提高算法的稳定性。从目前己有结果来看，该类算法是有效的，具有很大的潜力，值得开展进一步的研究工作。下面分别就问题(1)的SQP算法和SSLE算法作一介绍。 1.1．SQP算法 在国内外研究学者的共同努力下，SQP算法的研究工作已经十分丰富，大量文献不断问世，不少成果[7,8,9,10,11]相继出现。它的一个重要优点就是:如果沿着二次规划子问题的解方向搜索最终能得到步长为1，那么算法就是超线性收敛的.下面给出一般的SQP算法的基本步骤[1]. 步一:给定初始点，选取正定矩阵,令. 步二:求解子规划( 即 )，得到. 步三:令(). 步四:修正，使正定，令，返回步三. 1.2. SSLE算法 SSLE算法是近年来发展起来的新算法，该算法的基本思想是:将序列二次规划方法中的一个或多个二次子规划用一个或多个线性方程组来取代，在保持算法具有快速收敛性质的同时，能充分利用求解线性方程组的一些优点，寻求一些求解非线性最优化问题的新算法。此类算法每一步迭代只需求解几个系数矩阵相同的线性方程组，即只需做一次LU分解，因此每一次迭代的计算量要比现有的SQP算法少得多.数值实验表明，该算法具有迭代时间少，存贮量小，数值稳定且收敛速度快等优点，特别对大规模非线性规划问题的求解较为有效[12]。 在与实际相关的许多优化问题中，通常要求算法每一次迭代产生的点都是可行点[13,2,14,15]，而一般来说，SQP算法产生的点是不可行的，因此SSLE算法对于求解这类实际问题更具有重要意义。由于SSLE算法是近年来发展起来的新算法，与SQP算法最新成果相比还有许多工作有待进一步研究. 2.信赖域算法 信赖域方法是一类很新的方法，它和线搜索法并列为目前求解非线