运筹学-非线性规划.pptVIP

Frank-Wolfe法迭代步骤： (1) 取初始可行点x(0) ∈S, 给定终止误差ε0, 令k=0. (2) 求解线性规划 设得到最优解y(k). (3)若 停止迭代输出x(k) . 否则， 确定可行下降方向p(k)=y(k)-x(k) ，进行第4步。 (4) 进行有效一维搜索,求解 Frank-Wolfe法的特点： 求解带线性约束的非线性规划问题的特点是，通过对目标函数的近似线性化，把原问题归为求解一系列辅助的线性规划问题，方法简单，但此法的收敛速度较慢。不过，由于所求解的各个线性规划具有相同的约束条件，且可以利用现有的线性规划软件，故此法也常被人们采用. 此外，上述利用线性规划方法来求解线性约束的非线性规划问题的思想，也可以用于目标函数与约束函数都为非线性的情形，其主要思想是在每一个迭代点附近将目标函数与约束函数都线性化。 约束极值问题——Zoutendijk可行方向法 可行方向法是Zoutendijk在1960年提出的，至今仍是常用的方法之一. 可行方向法，是指在最优解的搜索过程中，始终保持搜索方向是可行方向。对极小化目标函数来说，还要保证搜索方向是下降方向， Zoutendijk提出的方法是利用迭代点的起作用约束来构造可行下降方向的，然后再进行有效一维搜索. 线性约束的情形 具有线性约束的非线性规划 约束极值问题——Zoutendijk可行方向法 下面的定理是一个确定带线性约束的非线性规划的下降可行方向的充要条件. 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 约束极值问题——Zoutendijk可行方向法 Zoutendijk法是求解带线性约束的非线性规划问题的一个基本可行方法。重要指出的是，当用Zoutendijk法求解时，若在求解过程中能在有限步停止，则迭代点列的最后一个点是KKT点；否则，求解的过程将产生无穷点列，此时该方法并不能保证一定收敛到KKT点。 此外，Zoutendijk法还可以扩展到求解带非线性约束的非线性规划问题。见书，此处略去。 约束极值问题——Zoutendijk可行方向法 非线性规划的软件求解 共轭方向法 一般的非线性函数在极小点附近可以用正定二次函数逼近, 因此, 二次函数的极小化的有效算法是构造一般非线性函数极小化算法的基础. 共轭方向法是求解二次函数极小化问题的常用算法, 用共轭方向法最多进行n次一维搜索即可求出二次函数的极小点. 下面的例子说明共轭性的概念，同时强调沿共轭方向极小化二次函数的重要性。 易知，f(x)的极小点为(1,2)T . 容易验证，从任意点开始并沿方向p(1)和p(2)极小化，最优点至多两步就可达到. 一般的，二次函数最多n步就能极小化, 主要沿Hesse矩阵的共轭方向进行搜索. 共轭方向法 共轭方向法 Q共轭方向pk如何构造？ 共轭方向法 书中借助于Rn中的一组基 {e1,e2,…,en}为基础，给出了一种构造共轭方向的方法。 共轭方向法 约束极值问题——惩罚函数法 惩罚函数法和障碍函数法是把约束非线性规划问题的求解转化 为一系列无约束非线性规划问题的求解。 其基本思想是: 通过改变目标函数来达到消去约束的目的, 可以 将目标函数附加上由约束函数构成的“惩罚项”或“障碍项”, 构造 出带参数的新的辅助目标函数, 从而把约束问题的求解转化为一 系列以新函数为目标函数的无约束问题的求解, 所以也叫做序列 无约束极小化方法(Sequential Unconstrained Minimization Technique, 简称为SUMT). 常用的有SUMT外点法（又称外惩罚函数法），另一种为 SUMT内点法（又称障碍函数法）。 惩罚函数法：加到目标函数的惩罚项是对任何一个违背约束进行而加上去的。 这种方法生成一系列非可行点, 其极限就是原问题的一个最优解. 障碍函数法：加到目标函数中的障碍项是为了阻止所求得的点离开可行域而加上去的. 这种方法产生一系列的可行点, 其极限就是问题的最优解. 首先，考虑带等式约束的非线性规划问题 min f(x) s.t. hj(x)=0, j=1,2,…,p (I) 假定其最优解存在，可行域记为S. 其中M是一个充