最优化方法第四章.ppt

用解析法求解（4.132）。令 即 经整理，得 （4.133） 由（4.133），对 ，必有 因此， （4.134) 进而 代回到（4.132）中，即得 对于给定的参数 和 ，设 是 的极小点，并定义 则乘子迭代公式为 即 终止准则为 3. 一般约束的情形 对于一般约束问题 4.6 外部罚函数法 4.2-4.5节介绍的容许方向法对于带有非线性约束的最优化问题的求解效果不甚理想。以下三节将针对一般约束最优化问题，给出一种有效的求解方法——罚函数法。它的特点是根据问题的约束函数和目标函数，构造一个具有“惩罚”效果的目标函数序列，从而把对约束最优化问题的求解转化为对一系列无约束问题的求解。这种“惩罚”策略，对在无约束问题求解过程中企图违反约束的那些迭代点给予很大的目标函数值，迫使这一系列无约束问题的极小点（即迭代点）或者无限地向容许集靠近，或者一直保持在容许集内，直到收敛到约束问题的极小点。 考虑一般约束最优化问题 （4.67） 4.6-4.8节将分别介绍三个罚函数方法。一是外部罚函数法（又称外点法）。其惩罚方式是对那些违反约束的点在目标函数中加入相应的“惩罚”，而对容许点不予惩罚。特点是迭代点一般在容许集外移动。二是内部罚函数法（又称内点法）。它仅适用于具有不等式约束的最优化问题。其惩罚方式是对那些企图从内部穿越容许集边界的点（容许集的内点）在目标函数中加入相应的“障碍”，而且点距边界越近，障碍也越大，对于边界上的点给予无穷大的障碍，从而保证迭代点一直在容许集内移动。三是乘子法，它是外部罚函数法的一种改进方法。其惩罚方式是在约束问题的Lagrange函数中加入相应的惩罚，这样既能保证迭代点会收敛到约束问题的极小点，更重要的是能保证数值计算的稳定性。 本节首先讨论外部罚函数法。 1. 算法的构成 首先讨论一个例子。求解 （4.68） 如图所示。此问题的容许集 是直线 图解法或Lagrange乘子法不难求出它的极小点是 . 。用 根据前面提出的惩罚策略，即对容许点不予“惩罚”，而对非容许点则给予正无穷大的“惩罚”，设法将约束问题（4.68）转化为无约束问题。 （4.69） 那么无约束问题 与（4.68）等价。问题是 的特性太坏，无法用 第3章讲过的任何一种无约束方法求解它。考虑“相近”函数 （4.70） 其中 是任意给定的正数。 是可微函数，所以 可以用第3章讲的无约束方法求解它。求解以（4.70）为目标函数的无约束问题，其（解析）最优解 虽然不是（4.68）的容许点，但随着 的增大，有 。 综上所述，为了求解约束问题（4.67），可以采用取如下的惩罚策略：给目标函数加上由约束函数构造的惩罚项。惩罚项要具备两个特点： ⅰ）包含有取值越来越大的正因子 ； ⅱ）对于容许点，惩罚项取值为零；对于非容许点，惩罚项取值为正。 以下讨论一般情况。对于仅含有等式约束的问题 （4.71） 可以采取如下的惩罚策略 （4.72） 仿照上述分析，对于仅含有不等式约束的问题 （4.73） 可采取的惩罚策略为 （4.74） 其中 是阶跃函数，即 （4.75） 于是 进而 是（4.73）的容许集。此式说明（4.74）符合前面拟订的惩罚策略。 其中 最后，对于同时具有等式约束和不等式约束的一般约束问题（4.67），可采取如下的惩罚策略 （4.76 ) 其中 （4.77） 称为约束问题(4.67)的罚函数。显然有 （4.78） 这里的 是（4.67）的容许集。 此外，把 称为约束问题（4.67）的增广目标 称为罚因子， 称为惩罚项。 函数 ，其中的 于是，由