15非线性约束最优化算法.pptVIP

本文框架 最优化算法分类 不等式约束组合 变量消除 优化函数和滤波 马洛托斯现象 二次校正和非单调方法 15.1 最优化算法分类 非线性最优化算法没有分类标准；对后面章节各种逼近做了分组，如下 所述： 第16章，讨论二次线性规划（quadratic programming）求解问题的算法，它具有独特的性能。对有效集(active set)，内点法(interior-point)和梯度投影法(gradient projection methods)进行讨论。 第17章,讨论罚函数(penalty)和增广拉格朗日(augmented Lagrangian methods)方法，把目标函数和条件都结合归到罚函数里边，这样可以通过求解一系列非约束条件处理15.1问题。 15.11 罚函数和增广朗格朗日方法 假如(15.1)中只有等式约束条件存在，那么二次罚函数定义： 等式约束问题，定义： 结合拉格朗日函数性质和二次罚函数（15.2）函数增广拉格朗日函数: 15.12 连续二次规划方法 第18章，讨论序列二次规划方法（sequential quadratic programming）简称SQP. 基本的SQP方法中定义Pk在(xk，λk)迭代的方向，从而得到解 约束条件： 15.13 非线性规划内点法 第19章，讨论非线性规划内点法（interior-point） 相对在14章讨论的线性规划来说，这种方法可以看做是原始对偶内点法（primal-dual interior-point）的拓展，也可以看做是障碍法。 约束条件： 15.2 不等式约束组合 求解非线性规划最主要的难题是处理不等式约束，特别是在解中确定哪些约束条件是有效的。 估测一个最优有效集A*，这是一组约束条件，在解处满足等式。这估测值叫做作用集，用w表示。在作用域约束条件强制为等式，约束条件在w处忽略，然后求解。最后验证是否有一个拉格朗日乘数，得到近似解X*，且W满足KKT条件（12.34）。这样把这X*看做（15.1）的局部解。 例子：即使小数量的不等式约束，确定最优化有效集不是一个简单的任务。 问题： 约束条件： 15.21 W的八种可能选择 用在下面的描述的作用作用域： 按指数1到3有序标记，图15.1阐述了目标函数的形态，可行域是两轴和曲线包围的区域。可以看出在解中只有第一个约束条件有效，（x*，y*）=(1.953，0.089)τ 即使对这个小的例子，考虑所有w可能的值很麻烦，图15.1表明，可以利用定义这个问题和他们的派生的函数知识消除，事实上在16章描述的有效集方法利用这种信息来进行一系列有根据的猜测作用域，避免w选择的明显偏离15.1的解。 既内点法（障碍法）之后，一种不同的方法在19章考虑，这种方法生成的迭代远离通过不等式约束条件定义的可行定义域的边界，作为非线性规划的解释近似的阻碍作用被消弱，允许精度增加解的估计，在这种方法中避免了非线性规划组合的难题。 第一种可能：求解方案中任何约束条件无效，也就是说w=Φ，由于▽f=(x-2，y-1/2)T，可以看到无约束f最小值在可行域外边，所以最优化有效集不能为空。 有7种另外可能，其中三个约束条件是有效的，w={1，2，3}，图（15.1）对这个问题这样的情况没有发生，三个约束条件不共享一个相同的交叉点。通过单一的有效约束条件，得到三个更进一步的可能，那就是是{w=1}，{w=2}，{w=3} {W=2}，只有x=0的约束条件有效，如果在这种条件下使f执行最小化，得到（0，1、2）T这个点，检查（12.34）KKT条件，表明无论选择什么拉格朗日乘数，都不能满足在0，1、2）T的条件。（因为必须要λ1=λ3=0满足（13.34e）），通过这表明，设λ2=-2满足（12.34a），但是λ2的值不满足(12.34d)。 {W=1，3}，得到单一的可行点（3，0）T，由于约束条件2在这个点无效，令λ2=0，解决（12.34a）用其他朗格朗日乘数，得到λ1=-16，λ3=16.5。，这些值是负数，不满足（12.34）所以（3，0）T不是（15.1）的解。 {W=1}，求解等式约束条件问题，这问题中第一个约束条件是有效的，得到点（x，y）T=(1.953，0.089)T和拉格朗日乘数λ1=0.411。通过设定λ2=λ3=0，很容易得到，（12.34）的KKT其他条件是满足。于是得结论这个点是KKT点，由于拉格朗日的Hessian正定，很容易得到二阶充分条件满足。 15.3 变量消除 处理约束最优化问题，用边界条件消除问题中的变量是正常的，用更少的自由度得到一个简单问题。然而由于消除法可能改变问题或者引入病态条件必须小心使用 目标函数： 约束条件： 得到两个变量的函数： 15.31 非线性消除的缺点