非线性规划18841.pptVIP

Goldstein算法 约束最优化问题的求解 可行方向法是一类处理带线性约束的非线性规划问题的非常有效的方法。这种方法是将无约束优化方法推广应用于约束问题，即产生一个可行点列{ }，满足 使得 { } 收敛于约束问题的极小点或K-T点。 为了使点保持可行，且满足目标函数不断下降的要求，在点 的搜索方向不仅像无约束方向那样是一个下降方向，而且是一个可行方向。所以，这类算法总称为可行方向法。 简约梯度法 思想：每一次迭代都通过积极约束消去一部分变量，从而降低最优化问题的维数，而且每次迭代都产生一个可行下降方向。 简约梯度法的基本思想是WOLFE在1962年作为线性规划单纯形方法的推广而提出来的。 对 作如下约束非退化假设： （1）每一个可行点至少有m个大 于零的分量 （2）A的任意m列线性无关。 仿照线性规划中的单纯形方法，在每一轮迭代的当前点 处，将 的m个最大的正分量 确定为基变量，余下的n-m个分量作为非基变量，那么目标函数f可作为非基变量的函数求负梯度方向，并依据这一方向构造从 到 迭代用到的可行下降搜索方向，这就是简约梯度法的基本思想。 首先，考察目标函数f入可作为非基变量的函数求梯度。设x分为两部分： 不失一般性，假设矩阵A的前m列队迎与基变量，则可把A分解为 其中B为一满秩方阵。由此AX=b可得 由于B可逆，从而 这样，目标函数f(x)=f( )可表示为 的函数，即为 利用复合函数求导法则，求 称 为函数f在点x出对用于基矩阵B的简约梯度。其中 是f对基变量的偏导数组成的向量， 是f对非基变量的偏导数组成的向量。即有： 其次，考察在每个迭代点 处 如何依据它的简约梯度构造搜索方向 ，使 设 的m 个最大的分量组成的向量为 ，并记这些分量的下标集为 。相应地，矩阵A分解为 由此可知，f 在点 处对用于 的简约梯度为 搜索方向 相应地分解为 容易想到，取 能保持方向的下降性，但并不保持方向的可行性。 这是因为若 的第 个分量 ，而此时 的第i个分量（非基变量）有 不满足为题（4.5.12)变量非负的要求。因此，对 我们选取它的分量 如下： 现在来看如何确定 。为使 是一个可行方向，它应满足 已知 为可行点，因此有A =b。又因 因此必有A =0 由此可知： 因而应取： 总之，利用简约梯度 构造出的搜索方向如下所示： 所得搜索方向有如下定理所述性质。 上述原始想法虽然可以将带约束的（MP）问题转换为无约束的（4.5.28）问题求解，但构造的罚函数（4.5.26）未必能保持各约束所持有的连续性或者是光滑性等良好形态，致使转换后的问题（4.5.28）一般无法采用各种无约束最优化方法求解。 要使构造的增广目标函数F（x）保持原来目标函数f(x)及各约束函数所具有的良好形态，关键在于罚函数不能在可行域的边界处发生跳跃。为此，对（MP）问题可选取罚函数。 其中c叫做罚参数或罚因