常见优化问题Matlab求解.ppt

常见优化问题MATLAB求解 徐风敏 fengminxu@mail.xjtu.edu.cn 一。常见的优化问题的分类及算法求解； 二。Matlab优化工具箱常用函数的介绍； 三。以往优化建模的实例。 最优化问题的分类 MATLAB优化工具箱能求解的优化模型 主要讲解的优化模型 1。无约束最优化； 2.。线性规划与半定规划； 3.。整数规划； 4。组合规划； 5 。非线性规划； 1。 无约束最优化 问题： min f (x) f : R n→R 在迭代点 x(k) 取方向 d(k)= －▽f(x(k) ) 精确一维搜索 由于梯度方向是函数值变化最快的方向 　　　　　　　－－－－－最 速 下降法 最速下降法流程图 最速下降法的性质 特点：全局收敛，线性收敛，易产生扭摆现象　 　　 而造成早停。 （当x(k)距最优点较远时，速度快，而接近最优点时，速度下降） 原因：f(x)=f(x(k))+▽Tf(x(k))(x-x(k)) + o||x-x(k)|| 当 x(k)接近 l.opt.时 ▽f(x(k) ) →0，于是高阶项 o||x-x(k)||的影响可能超过▽Tf(x(k))(x-x(k)) 。 Newton法及其修正 1. Newton法： 设f(x)二阶可微，取f(x)在x(k)点附近的二阶Taylor近似函数： qk(x)=f(x(k))+ ▽Tf(x(k))(x-x(k)) +1／2 (x- x(k))T▽2f(x(k)) (x-x(k)) 求驻点： ▽ qk(x)= ▽f(x(k))+ ▽2f(x(k)) (x-x(k))=0 当▽2f(x(k)) 正定时，有极小点： x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k)) 　　　　　　　　　　——Newton迭代公式 实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k) x(k+1)=x(k)+s(k) 特点：二阶收敛，局部收敛。 （当x(k)充分接近x*时,局部函数可用正定二次函数很好地近似，故收敛很快）。 二次终结性：当f(x)为正定二次函数时，从任意初始点可一步迭代达到最优解。 主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程 组，计算量大 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个Hesse阵； (2)带线性搜索的Newton法： 特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负 方向 搜索，但可能出现± d(k)均非下降方向的情况。 (3)Goldstein-Price方法(G-P法)： 取 d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) ， ▽2f(x(k)) 正定 - ▽f(x(k)) ，否则 特点： 在一定条件下， G-P法全局收敛。 但当▽2f(x(k)) 非正定情况较多时，收敛速度降为接近线性。 (4)Levenberg-Marguardt法（L-M法）： 主要思想：用[▽2f(x(k)) +μ I ] 取代▽2f(x(k)) 进行迭代，其中I 为单位矩阵。 μ0 使 [▽2f(x(k)) +μ I] 正定， μ尽量小。 特点：全局二阶收敛。 其他方法 3. 变尺度法的主要特点： 　⑴只需用到函数的一阶梯度；（Newton法用到二阶Hesse阵） 　⑵下降算法，故全局收敛； ⑶不需求矩阵逆；（计算量小） ⑷一般可达到超线性收敛；（速度快） ⑸有二次终结性。 四：直接方法：模式搜索法： Hooke Jeeves 1961； Matlab工具箱关于无约束优化的求解程序 Fminunc and Fminsearch 调用格式一样，全是求解无约束最优化； 求解方法是单纯型算法。 X=fminunc(Fun,x0); [x,f,flag,out]=fminunc(Fun,x0,opt,p1,p2….) 注：1。 fminunc的效率明显高于fmi