非线性规划_多维无约束优化_0507教材.pptVIP

拟牛顿法 什么是拟牛顿法 拟牛顿法的优点 仅需一阶导数（牛顿法需二阶导数） 保持正定，使得方法具有下降性质 每次迭代需 次乘法运算（牛顿法需 次乘法运算） 搜索方向是相互共轭的，从而具有二次终止性 变尺度算法 概述 变尺度法又称Davidon-Fletcher-Powell(DFP)算法，这是因为该算法在1959年由Davidon提出，后来经Fletcher和Powell解释并改进而得名。它是变尺度算法中提得最早的一个，该算法超线性收敛，对解多元函数的无约束极小是一个比较好的方法。该算法属于拟牛顿法的一种，变尺度法是求解无约束极值问题的一种有效方法，由于它避免了计算二阶导数矩阵及其求逆计算，又比梯度法的收敛速度快，特别是对高维问题具有显著的优越性，因而使变尺度法获得了很高的声誉，被称之为在算法上有“突破”。例如在1962年以前，由于原有各种算法计算耗时太多，因而求解非线性函数的极小值一般只能计算10个变量以下的问题，而应用了DFP法，可以在几分钟内计算出100个变量的函数极小值，有的问题只用半分钟即可解出。而相应的问题用其它算法求解，则要30分钟才能解出。 变尺度法和共轭梯度法一样，都是为了克服梯度法收敛慢和Newton法计算工作量大的缺点而提出来的一种算法。 变尺度算法 基本思想 变尺度算法 DFP算法 BFGS算法 变尺度算法 迭代步骤 变尺度算法 例1 利用变尺度算法求解无约束非线性规划问题 变尺度算法 变尺度算法 变尺度算法 变尺度算法和共轭梯度法的统一 多维无约束优化的求解函数fminunc 概述 MATLAB优化工具箱中提供了多维无约束非线性优化的求解函数fminunc，在MATLAB的该求解函数中运用到了我们前面提到的多种算法，例如利用梯度信息或者Hessian矩阵信息的迭代算法，或者如果用户不提供梯度信息的话，可能使用到有限差分形式去估计相应值的方法。在下面函数使用过程中的算法和参数的设置时，将会重点讲述这些问题 调用格式： x = fminunc(fun,x0) x = fminunc(fun,x0,options) x = fminunc(problem) [x,fval] = fminunc(...) [x,fval,exitflag] = fminunc(...) [x,fval,exitflag,output] = fminunc(...) [x,fval,exitflag,output,grad] = fminunc(...) [x,fval,exitflag,output,grad,hessian] = fminunc(...) 多维无约束优化的求解函数fminunc 输入参数和输出参数 多维无约束优化的求解函数fminunc 多维无约束优化的求解函数fminunc fminunc的输出参数主要包括x、fval、grad、hessian、exitflag、output，其中grad和hessian分 别返回x处的梯度和Hessian矩阵信息。算法终止时状态指示结构变量exitflag取值代表的物理意义和输出参数output结构变量中所包含的信息分别如表所示： 多维无约束优化的求解函数fminunc 控制参数设置方法（打开word文档即可查看） 命令详解 x = fminunc(fun,x0) 从初始点x0开始寻找目标函数fun的局部极小点x，x0可以是标量、向量或矩阵 x = fminunc(fun,x0,options) 在求解问题的同时用options指定的优化参数进行目标函数的最小化 [x,fval] = fminunc(...) 返回最优解x处的目标函数值fval [x,fval,exitflag] = fminunc(...) 在优化计算结束之时返回exitflag值，描述函数计算的退出条件 [x,fval,exitflag,output] = fminunc(...) 在优化计算结束之时返回返回结构变量output [x,fval,exitflag,output,grad] = fminunc(...) 在优化计算结束之时返回解x处的梯度 [x,fval,exitflag,output,grad,hessian] = fminunc(...) 在优化计算结束之时返回解x处的Hessian矩阵 多维无约束优化的求解函数fminunc fminunc可以根据用户选择的不同参数，选用不同的优化方法 大型优化算法 若用户在fun函数