东北大学最优化方法年第四章.pptVIP

第 4 章 约束最优化方法 * * 开始 最优化方法（最优化课件研制组） 退出 主讲：张 京 在第2章中已讨论过带有约束的线性规划问题，而本章要讨论的则是带有约束的非线性规划问题，其一般形式为 （4.1） 其中 。这个问题的 求解是指，在容许集 内找一点 ，使得对于任意的 ，都有 点 称为问题（4.1）的最优解。由于带有了约束，使得对约束最优化问题（4.1）的求解变得比对无约束最优化问题（3.1）的求解复杂得多，也困难得多。本章将讨论求解约束最优化问题常用的两类最优化方法。一类是所谓的容许方向法。它是一种直接处理约束的方法。另一类是所谓的罚函数法。相对前者而言，它是一种直接处理约束问题本身的方法，其主要特点是用一系列无约束问题的极小点去逼近约束问题的最优点。在4.1节中将首先讨论约束问题的最优性条件，为后面算法的终止准则提供理论依据；在4.2-4.3节中将讨论二种容许方向法，包括Zoutendijk容许方向法、Rosen梯度投影法；在4.6-4.8节中将讨论三种罚函数法，它们是外部罚函数法、内部罚函数法和乘子法。 4.1 最优性条件 所谓最优性条件，就是最优化问题的目标函数与约束函数在最优点所满足的充分条件和必要条件。最优性必要条件是指，最优点应该满足的条件；最优性充分条件是指，可使得某个容许点成为最优点的条件。最优性条件对于最优化算法的终止判定和最优化理论的推证都是至关重要的。本节仅讲述最基本的结论。 在第2章和第1章中，已经分别讨论过线性规划问题和无约束问题的最优性条件。定理2.9是线性规划问题的最优性充分条件。定理1.15、定理1.17和定理1.18以及推论1.16分别是无约束问题的最优性必要条件、充分条件以及充分且必要条件。本节主要讨论一般约束问题的最优性条件。我们将先从仅含等式约束或不等式约束的问题入手，然后自然过渡到一般约束问题。 1. 等式约束问题的最优性条件 考虑仅含等式约束的问题 （4.2） 这个问题的最优性条件与求解方法在微积分中已从理论上得到了解决，这就是Lagrange定理和Lagrange乘子法。 定理4.1（Lagrange定理） P217 Lagrange乘子法 定义函数 称为Lagrange函数，其中 称为Lagrange乘子， 则求解等式约束问题（4.2）等价于求解无约束问题 (4.4) Lagrange 函数（4.4)的梯度是 其中 最优性必要条件 及 下面的定理给出了（4.2）的最优性二阶充分条件。 定理4.2 P218 2. 不等式约束问题的最优性条件 （1）几何最优性条件 下面将给出约束问题 （4.7） 的最优性条件。 设容许集仍用 表示，即 以下几个概念是讨论的基础。 定义4.1 对于约束问题（4.7），设 。若 使得 某个不等式约束有 ，则该不等式约束 称为是关于容许点 的起作用约束；否则，若 则该不等式约束称为是关于容许点 的不起作用约束。 ， 例如， 不等式约束关于容许集的任意内点都是不起作用约束。只有容许集的边界点才能使某个或某些不等式约束变为起作用约束。 定义4.2 设 是 中的非空集，且 。对于 ，若当 时，对于 ，必有 ，则集合 称为以 为顶点的锥。若锥 是凸集，则称为凸锥。 显然，由 维向量 的全部非负组合构成 的集合 是一个以原点为顶点的凸锥。由于这样的凸锥的边界是（超）平面或直线，所以也称为由 凸多面锥。 张成的 定义4.3 设 是 中的非空集，且 。对于非零 向量 ，若存在 ，当 时，必有 ，则 称为点 的容许方向向量，其方向 称为点 的容许方向。由点 的全部容许方向向量构成的 的容许方向锥，记作 集合称为点 引理4.3 设 ；并设当 时， 在点 处可微，当 时， 在点 处连续。若对于所有 的 ，向量 使得 ，则 是点 的一个 容许方向向量。 证 考虑某个 。因为 ，所以 是 在点 处的上升方向。根据定义1.10，存在 , 例如， 当 时， 。 再考虑某个 。因为 ，且 在点 处连续，故存在 ，当 时， 。 取 ，则当 时，对于所有的 必有 ，即 。根据定义4.3，即 是点 的容许方向向量。? 记 ，则依引理4.3可知， 。 由这个引理看到一个事实，若 仅使某个约束，例如 ，变成起作用约束，且 ，而其它约束 是不起作用约束，则 就是点 的一个容许 方向向量。换句话说，约束曲面 把整个空间分成 总是指向包含容许集的那一侧。 两部分，梯度 ， 由点 的所有下降方向向量构成的集合称为点 下降方向锥