第7篇 约束问题的优化方法.doc

第7章 约束问题的优化方法 §7.1 可行方向法 7.1.1 可行方向法的基本思想 可行方向法是一类算法,可看作无约束下降算法的自然推广。典型策略是从可行点出发，沿着下降可行方向进行搜索，求出使目标函数值下降的新的可行点． 考虑只含线性约束的非线性规划问题： （1） 为非线性函数，，，，. 注1：线性约束规格保证了优化问题（1）的可行方向集、线性化可行方向集以及序列化可行方向集是等同的。 当某个可行方向同时也是目标函数的下降方向时，沿此方向移动一定会在满足可行性的情况下改进迭代点的目标函数值。 目前已经提出许多可行方向法，用来处理具有线性约束的非线性规划问题。 搜索方向选择方式不同形成不同的可行方向法： （1）Zoutendijk可行方向法 （2）Rosen梯度投影法 （3）Wolfe既约梯度法 可行方向的判定： 定理1：设是问题（1）的可行解，在点处有，，其中 ， 则非零向量为处的可行方向的充要条件是 ， 证明： 必要性：设非零向量是处的可行方向．根据可行方向的定义，，使得对每个．有为可行点，即，. 由于，由上式得到． 又由得到. 充分性：设，. 由于，则，使得对于所有的,成立. 根据假设及，得到. 上述两式组合起来就是. 又由及可知 表明是可行点，因此是处的可行方向． 7.1.2 Zoutendijk可行方向法 Zoutendijk子问题： 根据定理1，如果非零向量同时满足, ，,则是处的下降可行方向． Zoutendijk可行方向法把确定搜索方向归结为求解线性规划问题 （2） 在（2）式中，显然是可行解，可推知目标函数最优值必定小于或等于零．如果目标函数最优值小于零，则得到下降可行方向；否则，如果目标函数最优值为零，则x是K-T点． 定理2：考虑问题（1），设是可行解，在点处有，，其中 ， 则为K-T点的充要条件是问题（2）的目标函数最优值为零． 一维搜索步长的确定： 设为处一个下降可行方向．后继点迭代公式： 的取值原则： (l)保持迭代点的可行性； (2)使目标函数值尽可能减小． 根据上述原则，可以通过求解一维搜索问题来确定步长： （3） 由于是可行方向，因此，(3)式中第2个约束是多余的． 在点处，把不等式约束区分为起作用约束和不起作用约束：， (3)式中第1个约束可以写成 （4） 由于为可行方向，，，以及，因此自然成立．约束条件（4）简化为 问题（3）简化为 （5） 根据（5）式的约束条件，容易求出的上限，令 由知. (5)式的约束条件写成： 由此得到的上限： 问题（3）最终简化成： （6） 给定问题（1）和一个可行点以后，可以通过求解问题（2）得到下降可行方向，通过求解问题（6）确定沿此方向进行一维搜索的步长． 初始可行点的确定： 为求（1）式的一个可行点，引入人工变量（向量）和，解辅助线性规划 （7） 如果（7）式的最优解，那么就是（1）式的一个可行解． 可行方向法的计算步骤： (l)给定初始可行点，置. (2)在点处把A和b分解成和，使得 ， 计算． (3)求解线性规划问题 得到最优解. (4)如果，则停止计算，为K-T点，否则，进行步骤（5）. (5)计算的上限，在上作一维搜索： 得到最优解，令 (6)置，返回步骤（2）. 例：用Zoutendijk可行方向法解下列问题： 取初始可行点. 第1次迭代：，在处，起作用约束和不起作用约束的系数矩阵及右端分别为 ，；， 先求在处的下降可行方向： 即 由单纯形方法求得最优解： 再求步长: 解一维搜索问题 得到： 令 第2次迭代：，在处，起作用约束和不起作用约束的系数矩阵及右端分别为 ，；， 求在处的下降可行方向： 由单纯形方法求得最优解： 沿搜索，求步长: 解一维搜索问题 得到：. 令 第3次迭代： ，；， 求在处的下降可行方向： 由单纯形方法求得最优解： 根据定理1，是K-T点。 该例是凸规划，是最优解，目标函数最优值. 将可行方向法推广到非线性约束情形： 考虑不等式约束问题 （8） 定理3：设x是问题（8）的可行解，是在处起作用约束下标集，又设函数,在处可微，函数在处连续，如果 ， 则d是下降可行方向． 根据定理3，求下降可行方向归结为求解LP问题 （9） 设（9）式的最优解为．如果，则是在x处的下降可行方