最新非线性规划教学PPT.pptVIP

设f (X)为定义在n维欧氏空间En某一区域上R上的n元实函数，其中： X＝(x1，x2，…，xn)T对于X*∈R，如果存在某个ε＞0，使所有与X*的距离小于ε的X∈R (即X∈R 且||X－X*||＜ε) 均满足 f (X)≥f (X*)则称： X*为 f (X) 在 R上的局部极小点，f (X*) 为局部极小值。 若对于所有X≠X*且与X*的距离小于ε的X∈R ，都有 f (X)＞f (X*)则称X*为f (X)在R上的严格局部极小点， f (X*)为严格局部极小值。 若X*∈R，而对所有X∈R都有 f (X)≥f (X*)则称 X* 为 f (X) 在 R 上的全局极小点，f (X*) 为全局极小值。 若对于所有X∈R 且X≠X*，都有 f (X)＞f (X*)则称X*为f (X)在R上的严格全局极小点， f (X*)为严格全局极小值。 如将以上不等式反向，即可得到相应的极大点和极大值的定义。 凸函数 凹函数 非凸非凹函数 一维搜索的性质 1) 求解下降迭代法中,要求搜索方向Pk为下降方向,显然,可能有多个下降方向,那么哪个方向下降最快呢,是否有下降最快的方向呢? 2)梯度法的基本原理 ① 梯度方向是函数在这一点附近上升最快的方向 ② 负梯度方向是函数在这一点附近下降最快的方向 于是在下降迭代中,在每一迭代,都采用前轮迭代点处的负梯度方向为搜索方向. (一)最优性条件 步长加速法 4、约束最优化方法 一、等式约束条件下得NLP(拉格朗日乘子法、罚函数法) 二、不等式约束下得NLP （最优性条件、罚函数法） (MP) 第*页 非线性规划 Non-linear Programming---NLP 非线性规划主要内容 基本概念 一维搜索方法 无约束最优化方法 约束最优化方法 1、基本概念 非线性规划问题 非线性规划方法概述 非线性规划问题 例： 曲线的最优拟合问题 非线性规划模型的一般形式： 其中,x= (x1 ,x2,… xn)T，f(x), gi(x), hj(x)为x的实值函数 当p=0,q=0时，称为无约束非线性规划或者无约束最优化问题。 否则，称为约束非线性规划或者约束最优化问题。 f(X) 局部最优解 整体最优解 非线性规划问题的解 X 例 三角形表示的是可行域。 同心圆表示的是目标函数的等值线。 最优解为（1/2，1/2） 最优值为1/2 1/2 1/2 极值问题 凸函数和凹函数 非线性规划方法概述 微分学方法的局限性： ?实际的问题中，函数可能是不连续或者不可微的。 ?需要解复杂的方程组，而方程组到目前仍没有有效的算法。 ?实际的问题可能含有不等式约束，微分学方法不易处理。 往往需要数值解法：迭代 数值方法的基本思路：迭代 给定初始点x0 根据x0,依次迭代产生点列{xk} {xk}的最后一点为最优解 {xk}有限 {xk}无限 {xk}收敛于最优解 无约束最优化方法 n元函数的无约束非线性规划问题： 无约束最优化方法通常有两类： ?解析法：要使用导数的方法； ?直接法：无须考虑函数是否可导，直接使用函数值。 1、无约束问题的最优性条件 定理 ?梯度为0的点称为函数的驻点。 ?驻点可能是极小点，也可能是极大点，也可能既不是极大也不是极小，这时称为函数的鞍点。 ?定理说明：UMP问题的局部最优解必是目标函数的驻点。 注： 例 解： 1、先求出目标函数的全部驻点； 2、利用充分条件判断驻点是不是最优点。 2、下降迭代算法 迭代步骤 注：选步长有多种方法，最常用的方法是用以上确定最佳步长的方法。 20 30 一维搜索方法 精确一维搜索方法 0.618法 0.618法（近似黄金分割法） 梯度法(最速下降法) 多维问题 3) 计算步骤 坐标轮换法 第*页