最优化方法第四章.ppt

最优化方法第四章点称为问题（4.1）的最优解。由于带有了约束，使得对约束最优化问题（4.1）的求解变得比对无约束最优化问题（3.1）的求解复杂得多，也困难得多。本章将讨论求解约束最优化问题常用的两类最优化方法。一类是所谓的容许方向法。它是一种直接处理约束的方法。另一类是所谓的罚函数法。相对前者而言，它是一种直接处理约束问题本身的方法，其主要特点是用一系列无约束问题的极小点去逼近约束问题的最优点。在4.1节中将首先讨论约束问题的最优性条件，为后面算法的终止准则提供理论依据；在4.2-4.3节中将讨论二种容许方向法，包括Zoutendijk容许方向法、Rosen梯度投影法；在4.6-4.8节中将讨论三种罚函数法，它们是外部罚函数法、内部罚函数法和乘子法。第2页,共24页，星期六，2024年，5月4.1最优性条件所谓最优性条件，就是最优化问题的目标函数与约束函数在最优点所满足的充分条件和必要条件。最优性必要条件是指，最优点应该满足的条件；最优性充分条件是指，可使得某个容许点成为最优点的条件。最优性条件对于最优化算法的终止判定和最优化理论的推证都是至关重要的。本节仅讲述最基本的结论。在第2章和第1章中，已经分别讨论过线性规划问题和无约束问题的最优性条件。定理2.9是线性规划问题的最优性充分条件。定理1.15、定理1.17和定理1.18以及推论1.16分别是无约束问题的最优性必要条件、充分条件以及充分且必要条件。本节主要讨论一般约束问题的最优性条件。我们将先从仅含等式约束或不等式约束的问题入手，然后自然过渡到一般约束问题。第3页,共24页，星期六，2024年，5月1.等式约束问题的最优性条件考虑仅含等式约束的问题（4.2）这个问题的最优性条件与求解方法在微积分中已从理论上得到了解决，这就是Lagrange定理和Lagrange乘子法。定理4.1（Lagrange定理）P217Lagrange乘子法定义函数称为Lagrange函数，其中称为Lagrange乘子，则求解等式约束问题（4.2）等价于求解无约束问题(4.4)第4页,共24页，星期六，2024年，5月Lagrange函数（4.4)的梯度是其中最优性必要条件及第5页,共24页，星期六，2024年，5月下面的定理给出了（4.2）的最优性二阶充分条件。定理4.2P218第6页,共24页，星期六，2024年，5月2.不等式约束问题的最优性条件（1）几何最优性条件下面将给出约束问题（4.7）的最优性条件。设容许集仍用表示，即以下几个概念是讨论的基础。定义4.1对于约束问题（4.7），设。若使得某个不等式约束有，则该不等式约束称为是关于容许点的起作用约束；否则，若则该不等式约束称为是关于容许点的不起作用约束。，第7页,共24页，星期六，2024年，5月例如，不等式约束关于容许集的任意内点都是不起作用约束。只有容许集的边界点才能使某个或某些不等式约束变为起作用约束。定义4.2设是中的非空集，且。对于，若当时，对于，必有，则集合称为以为顶点的锥。若锥是凸集，则称为凸锥。第8页,共24页，星期六，2024年，5月显然，由维向量的全部非负组合构成的集合是一个以原点为顶点的凸锥。由于这样的凸锥的边界是（超）平面或直线，所以也称为由凸多面锥。张成的定义4.3设是中的非空集，且。对于非零向量，若存在，当时，必有，则称为点的容许方向向量，其方向称为点的容许方向。由点的全部容许方向向量构成的的容许方向锥，记作集合称为点第9页,共24页，星期六，2024年，5月引理4.3设；并设当时，在点处可微，当时，在点处连续。若对于所有的，向量使得，则是点的一个容许方向向量。证考虑某个。因为，所以是在点处的上升方向。根据定义1.10，存在,例如，第10页,共24页，星期六，2024年，5月当时，。再考虑某个。因为，且在点处连续，故存在，当时，。取，则当时，对于所有的必有，即。根据定义4.3，即是点的容许方向向量。?记，则依引理4.3可知，。由这个引理看到一个事实，若仅使某个约束，例如，变成起作用约束，且，而其它约束是不起作用约束，则就是点的一个容许方向向量。换句话说，约束曲面把整个空间分成