非线性规划方法精要.ppt

第4章 非线性规划方法 2012 统计学 在科学管理和其他领域中，大量应用问题可以归结为线性规划问题，但是，也有另外许多问题，其目标函数和（或）约束条件很难用线性函数表达。如果目标函数和（或）约束条件中包含有自变量的非线性函数，则这样的规划问题就属于非线性规划。 非线性规划是运筹学的重要分支之一。最近30多年来发展很快，不断提出各种算法，而其应用范围也越来越广泛。比如在各种预报、管理科学、最优设计、质量控制、系统控制等领域得到广泛且不短深入的应用。 一般来说，求解非线性规划问题比线性规划问题困难得多。而且，也不象线性规划那样有单纯形法这一通用的方法。非线性规划的各种算法大都有自己特定的使用范围，都有一定的局限性。到目前为止还没有适合于各种问题的一般算法，这是需要深入研究的一个领域。我们只是对一些模型及应用作简单介绍。 非线性规划问题的数学模型 (6) 非线性规划方法概述 例.某公司有6个建筑工地，位置坐标为(ai, bi) (单位：公里),水泥日用量di (单位：吨） 选址问题：NLP * * （1）数学规划模型的一般形式： 其中, 简记为MP(Mathematical Programming) （2）简记形式： 引入向量函数符号： （3）数学规划问题的分类： ?若 为线性函数，即为线性规划(LP)； ?若 至少一个为非线性, 即为非线性规划(NLP)； ?对于非线性规划，若没有 ,即X=Rn,称为 无约束非线性规划或无约束最优化问题； 否则称为约束非线性规划或约束最优化问题。 凸规划的定义及其性质： 凸规划定义： （4）可行域和可行解： 称 为MP问题的约束集或可行域。 若x在X内，称x为MP的可行解或者可行点。 （5）最优解和极小点 对于非线性规划（MP），若 ，并且有 如果有 定义: 如果有 定义 则称 x* 是(MP)的局部最优解或局部极小解, （6.1）微分学方法的局限性： ?实际的问题中，函数可能是不连续或者不可微的。 ?需要解复杂的方程组，而方程组到目前仍没有有效的算法。 ?实际的问题可能含有不等式约束，微分学方法不易处理。 （6.2）数值方法的基本思路：迭代 给定初始点x0 根据x0,依次迭代产生点列{xk} {xk}的最后一点为最优解 {xk}有限 {xk}无限 {xk}收敛于最优解 迭代格式 xk xk+1 pk 称pk为第k轮搜索方向，tk为第k轮沿pk方向的步长。 产生tk和pk的不同方法，形成了不同的算法。 定义：特殊搜索方向——下降方向 定义：特殊搜索方向——可行下降方向 解非线性规划问题，关键在于找到某个方向，使得在此方向上，目标函数得到下降，同时还是可行方向。 这样的方向称为可行下降方向。 定义：算法收敛、下降迭代算法 集合S上的迭代算法： （1）初始点 ； （2）按照某种搜索方向pk产生下一个迭代点 （i）如果点列 收敛于最优解 ，则称此算法收敛。 （ii）如果 ，则称此算法为 下降迭代算法。 . . . （6.3）下降迭代算法步骤 （1）给出初始点 ，令 ； （2）按照某种规则确定下降搜索方向 ； （3）按照某种规则确定搜索步长 ，使得 ； （4）令 ， ； （5）判断 是否满足停止条件。是则停止，否则转第2步。 搜索步长确定方法： 称 为最优步长，且有对?k的梯度 （6.4） 终止条件 ② ④ ① ③ （6.5）常用的收敛性判别准则: （１）点收敛准则: ( 可取Rn中任一种模)。 e ￡ - - ) 1 ( ) ( k k x x · （２）目标函数值准则： （绝对差）。 e ￡ - - ) ( ) ( ) 1 ( ) ( k k f f x x （３）目标函数值准则： （相对差）。 e ￡ - - ) ( ) ( ) ( ) ( ) 1 ( ) ( k k k f f f x x x 取其中之一,也可同时取(1)与(2);(1)与(3);或(1),(2)和(3)等。 （6.6）算法的收敛速度 则称 的收敛阶为 。 设算法所得的点列为 ，如果 1.线性收敛（当k充分大时）： 2.超线性收敛： 3.二阶收敛： （*）式中 ? =2时成立。 （*） 梯度法（最速下降法） 牛顿法与拟牛顿法 变尺度法(DFP法) 共轭梯度法 无约束非线性规划的解法： 约束非线性规划的解法： 外点法（惩罚函数法） 内