第十三章-非线性规划基础.pptVIP

第一节 非线性规划的基本概念 一、 非线性规划模型 非线性规划的一般形式： 1、局部解 局部极大值 局部极小值 2、全局解 全局最大值 全局最小值 局部最优解≠全局最优解 二、非线性规划的几何求解 例13.1 求解下列非线性规划的最优解。 例13.2 求解下列非线性规划的最优解。 例13.3 求解下列非线性规划的最优解。 线性规划与非线性规划有很大的区别：如果线性规划的最优解存在，其最优解只能在可行域的边界达到。而非线性规划的最优解（如果最优解存在）则可能在可行域的任何一点达到。 第二节 凸函数 一、凸函数的基本概念 凸函数定义 凹函数定义 凸函数具有如下性质 二、凸函数的判断 一元函数凸性的判断 多元函数凸性的判断 梯度： Hessian矩阵 ： f(x)=x13+3x1x2+x22，则 f(x) 的Hessian矩阵为： 判定正定的方法：当一个n×n矩阵A的任意k阶顺序主子式大于0时，则该矩阵为正定的。 D为凸集合，f(x)是定义在上的二次可微函数，则f(x)为凸函数的充要条件为f(x)在任意一点的Hessian矩阵为半正定。 则f(x)为凸函数的充要条件为： 例13.4 判别下列函数的凸凹性 三、凸规划 当f(x),g(x)为凸函数，h(x)=(h1(x),…,hl(x))是线性函数时，上述规划问题称为凸规划问题。 凸规划的求解可借助下节的KKT定理。 第三节 最优性条件 引入两个概念 下降方向： 可行方向： 一、无约束优化的最优性条件 在无约束规划问题中，由于不涉及到可行域的问题，因此，只涉及下降方向。不涉及可行方向的问题。 例13.5 求函数f(x)的最优值点，即。 二、约束极值问题的最优性条件 在x点取到局部最优值的条件为： 定理13.11（Gorden）： 设 ，则Ax0有解的充分必要条件为：不存在非零向量 ，使得 。 无解的充分必要条件为：存在不全为零的非负实数使 上述定理的几何意义为： 定理（Fritz-John）：问题（13.5）在点取到局部极小值，则存在不全为零的非负实数使 例13.6： 是下列优化问题的最优解，验证x满足Fritz-John定理。 例13.7 (0,2)T是下列优化问题的最优解，验证 x 满足Fritz-John定理 约束规格 ： 线性无关 定理（KKT）：设 是问题（13.5）局部最优解， 在 处可微， 在 处连续，且 线性无关，则存在不全为零的非负实数 使 例13.8 求下列问题的KKT点。 定理13.14. 在问题（13.5）中，f, gi(i=1,…,m)是凸函数， ， ， 在 处可微， 在 处连续，且在 处KKT条件成立，则 是问题（13.5）全局最优解。 min f(x) f : Rn?R 是一阶连续函数 无约束优化问题的极值条件 基本迭代格式 寻找搜索方向是无约束优化的关键问题 一、一维搜索法 一维搜索的方法很多，归纳起来，可分为试探法和函数逼近法。试探法中包括如黄金分割法、Fibonacci法等；函数逼近法中包括如牛顿法、割线法等。 谢谢！ 第四节 非线性规划问题的算法 一、 一维搜索法 二、 最速下降法 一维搜索法是求解无约束优化的一种方法。它是沿射线 xk+1 = xk+tdk，求 f(x) 在该射线上的极小值，这一问题可转化为求一元函数 的极小值，即 因此，这一过程称为一维搜索法。 通常，无约束优化问题算法的一般形式为： 初始步：给定初始点 ，令k=0。 第1步：如果 ，停止计算；否则，进入下一步。 第2步：计算下降方向dk，使 。 第3步：计算步长tk，使得 ，令 ；k=k+1，转第1步。 第十三章 非线性规划 第一节 非线性规划的基本概念 第二节 凸函数 第三节 最优性条件 第四节 非线性规划问