第2篇 非线性规划.pptVIP

Goldstein算法 4.第四轮： t2=0.876, t1=0.708 b-t1=1.146-0.7080.5 输出：t*=t2=0.876为最优解，最优值为-0.0798 课下练习：参阅110页表格仔细分析上述迭代过程，体会0.618法的实质。 0 1.416 t t1 t2 退 出 前一页 后一页 2.Newton法 Newton法基本思想： 用探索点tk处的二阶Taylor展开式近似代替目标函数，以展开式的最小点为新的探索点。 退 出 前一页 后一页 解题步骤： 给定初始点t1和精度 是 是 停止，输出t1 是 否 停止，解题失败 否 停止，输出t2 否 退 出 前一页 后一页 例： 解： 取t1=1,计算： 迭代过程如下表： 1.137 0.1163 0.1169 3 -0.001061 4 1.3258 -0.5178 -0.5708 2 2 0.7854 1 1 退 出 前一页 后一页 3.非精确一维搜索法 ?数值方法的关键是从一个点迭代到下一个点。 ?确定下一个点的关键是确定搜索方向和步长 ?如果已经确定了搜索方向pk,则只要确定一个最佳的步长即可。 ?所谓的最佳步长即是在pk方向上走一个最好的长度使得目标函数下降的最多，即下述的最优化问题： ?这样的最优化问题不需要太高的精度，只要满足某些更宽松的精度要求即可。 ?这样的搜索方法称之为非精确一维搜索方法 退 出 前一页 后一页 Goldstein法原理： y t 0 b c d a Y=?(0)+ ?′(0)t Y=?(0)+ m2?′(0)t Y=?(0)+ m1?′(0)t 退 出 前一页 后一页 是 确定m1,m2,α,t0, a=0,b=+∞ ?(t0)≤ ?(0)+m1 ?’(0)t0 ?(t0) ≥?(0)+m2?’(0)t0 是 停止,输出t0 否 a=a, b=t0, t1=(a+b)/2 否 a=t0,b=b, t1=(a+b)/2 (若b=+∞,则t1= αa) 退 出 前一页 后一页 Armijo法原理： y t 0 tk Mtk 退 出 前一页 后一页 本节课讨论n元函数的无约束非线性规划问题： 求解此类模型(UMP)的方法称为无约束最优化方法。 无约束最优化方法通常有两类： ?解析法：要使用导数的方法； ?直接法：无须考虑函数是否可导，直接使用函数值。 退 出 前一页 后一页 §2.4无约束最优化方法 本节课内容： ?无约束问题的最优性条件 ?最速下降法（一种解析法） 退 出 前一页 后一页 1.无约束问题的最优性条件 定理1 定理2 ?梯度为0的点称为函数的驻点。 ?驻点可能是极小点，也可能是极大点，也可能即不是极大也不是极小，这时称为函数的鞍点。 ?定理2说明：UMP问题的局部最优解必是目标函数的驻点。 注： 退 出 前一页 后一页 定理3 定理4 退 出 前一页 后一页 例 解： 1.先求出目标函数的全部驻点； 2.利用充分条件判断驻点是不是最优点。 退 出 前一页 后一页 关于梯度的复习： ?梯度是一个向量。n元函数f(x1 ,x2 ,…xn)在某点x处的梯度为： ?梯度的方向与函数f的等值线的一个法线方向相同，从较低的等值线指向较高的等值线。 ?梯度的方向就是函数f的值增加最快的方向，其相反方向就是函数值降低最快的方向。 2.最速下降法 退 出 前一页 后一页 最速下降法又称为梯度法，由Cauchy于1847年给出。 最速下降法解决的是具有连续可微的目标函数的UMP问题。 最速下降法的基本思想：从当前点xk出发寻找使得目标函数下降最快的方向，即负梯度方向。 退 出 前一页 后一页 最速下降法计算步骤： 选区初始点x0和精度 计算 是 否 停止，输出x0 求p0= 计算t0,使 计算x1= x0+ t0 p0 退 出 前一页 后一页 例 解： 退 出 前一页 后一页 说明： ?观察P119的图，可以发现x1 x0垂直于目标函数的等值线（图中的虚线）在x0的切线； ?最速下降方法相邻的两个搜索方向是相互垂直的，即x1 x0垂直x1 x2； ?最速下降法解决UMP的缺陷：迭代点越靠近最优解则目标函数下降的速度越慢； ?优点：迭代点列总是收敛的，而且计算过程简单。 退 出 前一页 后一页 * 第2章 非线性规划 §2.1基本概念 §2.2凸函数和凸规划 §2.3一维搜索方法 §2.4无约束最优化方法 §2.5约束最优化方法 1.非线性规划模型： 数学规划模型的一般形式： 其中,x=(x1 ,x2,… xn)T，f(x),gi(x),hj(x)为x的实值函数 简记为MP(Mathematical Programming) 退 出 前一页 后一页 §2.1 基本概念 可行域和可行解： 称 为M