最优化理论和方法3(2014_3).doc

?《最优化理论与方法》讲义 (下-续) 第六章 常用约束最优化方法 考虑一般的约束最优化问题，其数学模型为 求解约束优化问题，就是要在可行域 中，找一个可行点使目标函数取得最小值。此时称为问题的最优解。 由处理约束条件的办法不同，约束优化方法也可分为直接法和间接法两大类。 间接法的基本思想是将约束优化问题首先转换为一系列的无约束优化问题，然后利用无约束优化方法来求解，逐渐逼近约束问题的最优解。这些算法一般比较复杂，但由于它们可以采用计算效率高、稳定性好的无约束优化方法，故可用于求解高维的优化问题。 直接法的基本思想是构造一迭代过程，使每次迭代点都在可行域D中，且一步一步地降低目标函数值，直到求得最优解。这类方法很多，如约束坐标轮换法，复合形法等。这类方法一般是算法简单，对目标函数和约束函数无特殊要求，但计算量大，需用机时较多，不适用维数较高的问题，而且一般用于求解只含不等式约束的优化问题。 6.1 外点罚函数法 对于问题，本节所述方法的基本策略是，根据约束特点(等式或不等式)构造某种“罚函数”，然后把它加到目标函数中去，使得对约束最优化问题的求解转化为对一系列无约束问题极小点或者无限地向可行域靠近，或者一直保持在可行集内移动，直到收敛于原来约束最优化问题极小点。 一、外点罚函数法基本原理 对问题，构造一函数为 其中 在式中，又称为惩罚函数。 ， 是一个逐渐增大的参数，称为惩罚因子，又称为问题的增广目标函数。 显然，增广目标函数是定义在上的一个无约束函数。由增广目标函数的构造知： ·当时，，此时的最优解就是问题的最优解； ·当时，的最优解就不一定是问题的最优解。但是研究当时，的最优解我们是不感兴趣的。 为此规定：当时，在点处的函数值迅速增大。换句话说，可行域外的任一点处的函数值都相当大。此时要求在中的最优解，只能让点回到内才有可能求得 在中的最优解，然而一旦当点回到内，即，此时就与问题就有相同的最优解。 当时，迅速变大是通过罚因子M来实现。简言之，外点罚函数法的思想是： 当点时，设法加大不可行点处的函数值，使不可行点不能成为在中的最优解。 一般地，在用外点罚函数法求解问题时，首先构造增广目标函数，然后按照无约束优化方法求解。如果求出的最优解为，则判断是否属于。如果，则是问题的最优解；如果，则不是问题的最优解。此时说明原来的罚因子给小了，需加大罚因子，使得，然后再重新计算的最优解。 二、外点罚函数法迭代步骤 已知问题，构造增广目标函数 其中惩罚函数按式构造，给定终止限(可取)。 Step1 选定初始点，初始罚因子(可取)，罚因子放大系数，置； Step2 假设已获迭代点，以为初始点，求解无约束问题，设其极小点为； Step3 若，，则就是所要求的最优解，输出打印，停机；否则，转Step4； Step4 置，转Step2。 三、举例 例1 求解 解：可以看出，本题的约束最优解为 现用外点罚函数法解这个约束优化问题。构造增广目标函数 由此 解得 给定一个罚因子，即可求得极小点，可以看出 不是可行点，且有 右图给出了不同时的的轨迹。 它有助于进一步理解用外点罚函数法求极小 点序列时怎样收敛于约束最优点。 ． 例2 用外点罚函数法求 解: 增广目标函数为 按阶跃函数的定义， 对于，下图画出了的 图形．由图可以看出，的极小点 全不属于可行域。因此只须考虑的情况。 实际上，对于固定的，令 由此解得 这就是对于固定的，求得的极小点。 例如，当时，；当时，；当时，。 若令时，则。这里的，就是本例的极小点。 四、外点罚函数法有关说明 在外点罚函数中，是通过一系列惩罚因子求的极小点来逼近原约束问题的最优点。这一系列的无约束极小点将从约束可行域外部向约束边界运动，实际上，随着罚因子的增大，迫使惩罚项的值逐渐减小，从而使的极小点沿着某一运动轨迹逐渐接近等式约束面与起作用的不等式约束面上的最优点。当趋于无穷大时，的极小点就是原问题的最优点。 容易提出这样的问题：既然越大越好，那么迭代一开始就把取得很大，似乎求解一次无约束问题就可以求得到约束问题的最优解，可以少解几次无约束问题。但是可以证明，越大，增广目标函数 的Hesse矩阵的条件数越坏，给无约束问题求解增加越来越大的困难，甚至无法求解。 因此，在迭代开始时又不得不把取得小一些。无疑，这增加了计算量，这正是外点罚函数法的弱点。此外，当在处无定义时，的性质变得很复杂。另一方面，由于外点罚函数法是从外迭代点逼近内最优解，所以在寻优的过程中不能直接观察到内点的变化