03.1 无约束非线性规划.ppt

非线性规划（Non-linear Programming)概述 第三章 无约束非线性规划 小 结 掌握高等数学中学过的求导数方法 解优化问题! 熟练掌握数学中的迭代法！ * * a)无约束非线性规划 1。非线性规划(NLP)的种类 b) 有约束非线性规划 min f(x) ， s.t. gi(x) = 0, (i = 1,2,…，m) hj(x) ? 0, (j = 1,2,…，l) x∈Rn a)无约束非线性规划 2。非线性规划(NLP)研究模型 b) 有约束非线性规划 其中f , g, h是 x 的实值连续函数，且具有二阶连续偏导数。 (*) 定义1 如果 x 满足（*）的约束条件 hi(x)=0 (i=1,2,….m) gj(x) ? 0 (j=1,2….l) 则称x ? Rn 为（*）的一个可行解。 记（*）的所有可行解的集合为D，D称为（*）可行域。 3。几个概念 定义2 x*称为（*）的一个（整体）最优解，如果x* ?D，满足 f(x) ? f(x*)，? x?D。 定义3 x*称为（*）的一个（局部）最优解，如果x* ?D，且存在一个x*的邻域: N(x* ,?)={ x ? En ，|x - x*| ?}, ?0; 满足f(x) ? f(x*)，? x ?D? N(x* ,?) f(x) 局部最优解 整体最优解 其中f 是 x 的实值连续函数，且具有二阶连续偏导数。 1。主要讨论优化模型 2。非线性规划基础知识 a) 极值条件 函数f(x)在x0处有极值的必要条件： 函数f(x)在x0处有极值的充分条件：　 →极小值; 　 →极大值. b) 局部极小值（local minmum） －－局部极小点 全局极小值（global minmum）－－全局极小点 设多元函数 f(x1, x2, …xn,) , 若点 存在一邻域?(x(0))，使 ? x ? ?(x(0)) ，均有f(x(0)) f(x)， 则称 x(0)是 f(x)的局部极小点。 对应地，称 f (x(0))是 f(x)的局部极小值。 如图所示，仅其附近领域上的最小点称 为局部极小点，对应的函数值为局部极小值。在全域上取最小值的点为全局最小点，其值为全局极小值。 图中P2点既为局部最小点 ，也为全局极小点 c)凸函数的概念 定义： 1。定义在凸集D?Rn上的函数f(x), 如果对任意两点x(1), x(2) ∈D, 均有0?1, 使得 f (? x(1)+(1- ?)x(2)) ? ? f( x(1) ) +(1- ?) f( x(2)), 则称函数 f(x)为D上的凸函数. 2。若严格不等式成立, 则称函数f(x)为D上的严格凸函数. 如果 - g(x)为D上的(严格)凸函数,则g(x)为D上的(严格) 凹函数. ?f( x1 ) +(1- ?) f( x2) f(x1) f(x2) x f(x) x1 x2 ?x1+(1- ?)x2 f(?x1+(1- ?)x2 ) 任意两点的函数值的连线上的点都在曲线的上方 d)梯度向量 　　?f(x)=grad f(x) 其中x=(x1, x1, … ,xn) 　　如果对矩阵H(x),对任意x ? N(x* ,?) X? Rn 均有 XT HX 0(即H的各阶主子式都大于0），则称H在x* 点正定. 若XT HX ≥ 0(即H的各阶主子式都大于或等于0），则称H在x* 点半正定. 若H的各阶主子式正负相间，则称称H在x* 点负定. e)Hessian 矩阵、正定矩阵 3.1 最优性条件 最优性条件的研究是非线性规划理论研究的一个中心问题。 为什么要研究最优性条件？ 本质上把可行解集合的范围缩小。 它是许多算法设计的基础。 一、无约束问题最优性条件的四个定理 定理1（一阶必要条件） 设f(x)在x*点可微，则x*为 的一个局部最优解，一定有?f(x*)=grad f(x*)=0（ x*称为驻点） 定理2（二阶必要条件） 设f(x)在x*点二阶可微，则x*为(*)的一个局部最优解，一定有?f(x*) =0和H 为半正定。 定理3（二阶充分条件） 设f(x)在x*点二阶可微，如果?f(x*