最优化原理预案.ppt

* * 7.1 Zoutendijk容许方向法 容许方向法是求解约束最优化问题得一类基本方法。这类方法一般先从线性约束问题开始讨论，然后再推广到非线性约束问题。它的基本迭代格式是 ①从容许点 开始迭代，设已迭代到容许点 ; ②在点 用某种方法确定一个下降容许方向 ; ③从点 出发，在 方向上寻找满足 的新的容许迭代点 ； ④判断 的最优性。若 满足终止条件，则打印 ，计算终止；否则，置 ，然后转②。 7.1 Zoutendijk容许方向法 简单地说，容许方向法是沿下降容许方向搜索并保持新迭代点为容许点的一种迭代方法。下降容许方向确定方法的不同对应着不同的容许方向法。以下两节将介绍2个容许方向法。 第一，Zoutendijk容许方向法。这种方法通过在迭代点处的容许方向锥中寻找最速下降方向的线性规划来确定下降容许方向。 第二，Rosen梯度投影法。该法通过把在迭代点处的目标函数的负梯度向起作用约束超平面的交集投影来确定下降容许方向。 首先讨论Zoutendijk容许方向法。 1. 线性约束的情形 考虑线性约束最优化问题 （7.1） 其中 是 矩阵， 是 矩阵， 是 维向量， 是 维向量，而 是可微函数。 （1）下降容许方向的确定 下面的定理给出了确定容许方向的理论基础。 定理7.1 在约束问题（7.1）中，假设： ⅰ） 是容许点； ⅱ）适当调换 的行向量与 的相应分量（设所得 与 表示）,然后分解 ，相应 使得 。 矩阵和向量仍用 地分解 那么，非零向量 为点 的容许方向向量的充要条件是 满足 定理7.1表明，若 是容许点，则满足 的非零向量 就是点 的容许方向向量。 若 还满足 ，那么 就是下降容许方向向量。 因此，为确定点 的下降容许方向向量 ， 一个很自然的想法是，在满足 的条件下，使 取极小值。但是，必须 对 的“长度”加上某种限制。这是因为若 满足 且 则对于任意正数 , 也满足这些式子，且 导致无法确定 。 综上，我们现在可以考虑如下极小化问题 注意到这是具有非线性约束的问题，求解难度远比（7.1）还大。 （7.2) 为此，考虑用相近的线性规划 （7.3) 来确定（7.1）在点 处的下降容许方向向量，其中 是分量全为1的 维向量，即 。因为 是（7.3）的容许解，且其函数值为0，所以（ 7.3 ）的最优值非正。若最优值为负，则最优解 就是点 的一个 下降容许方向向量。最优值为0的情形见后面的内容（3）。 （2）直线搜索 为求新的迭代点 ，从点 出发沿下降容许方向 作直线搜索，即 由于容许方向法本身要求新迭代点 也必须是容许点， 所以最优步长因子 必须受（7.1）约束的限制。 因此， 该直线搜索实际上是如下有约束的一元函数极小化问题 （7.4） （7.4）可以化简。首先，由 和 得知，对于任意的 ，总有 这说明（7.4）的第2个约束是多余的；其次，由 和 得知， 对于， ，总有 又说明（7.4）的第1个约束中的这一部分也是 多余的。 于是，（7.4）可化简为 （7.5） 现在来求（7.5）的容许区间 。设 其中 和 都是与 维数（设为 ）相等的向量。 于是，可将（7.5）中的第1个约束改写为 （7.6） 注意到 ，便知 。当 时，对于 （7.6）显然总成立，在这种情况下， ； 而当 ? 时（此时至少有一个 ）， 取 对于 （7.6）也总成立。 综上所述，最优步长因子 的最优解，其中 是如下一元函数极小化问题 （7.7） （3）终止准则 计算的终止准则由下面的定理给出。 定理7.2 在约束问题（7.1）中，假设： ⅰ） 是容许点； ⅱ） 分解 ，相应地分解 ，使得 ； ⅲ） 和 的行向量线性无关； ⅳ） 是线性规划（7.3）的最优解。 那么， 为Kuhn-Tucker点的充要条件是 Zoutendijk法 （7.3) （7.1） 的最优解，其中 （7.7) （4） 算法7.1（Zoutendijk法） P247 （5）例题 P247 例 解 第一次迭代 即 求步长 进行一维搜索, 解 同样,进行第二次迭代: 进行一维搜索, 解 继续迭代,因为 所以 2. 非线性约束的情形 考虑仅带有非线性不等式约束的最优化问题 （7.8） （1）下降容许方向的确定 设 是容许点。满足 （7.9） 的 是点 的下降方向向量。 设 满足 （7.10） 的 是点 的容许方向向量。因此，同时满足（7.9）和 就是点 的下降容许方向向量。 （7.10）的点 对 如果附加限制： ，并