非线性规划多维无约束优化0507.pptVIP

拟牛顿法 什么是拟牛顿法 拟牛顿法的优点 仅需一阶导数（牛顿法需二阶导数） 保持正定，使得方法具有下降性质 每次迭代需 次乘法运算（牛顿法需 次乘法运算） 搜索方向是相互共轭的，从而具有二次终止性 变尺度算法 概述 变尺度法又称Davidon-Fletcher-Powell(DFP)算法，这是因为该算法在1959年由Davidon提出，后来经Fletcher和Powell解释并改进而得名。它是变尺度算法中提得最早的一个，该算法超线性收敛，对解多元函数的无约束极小是一个比较好的方法。该算法属于拟牛顿法的一种，变尺度法是求解无约束极值问题的一种有效方法，由于它避免了计算二阶导数矩阵及其求逆计算，又比梯度法的收敛速度快，特别是对高维问题具有显著的优越性，因而使变尺度法获得了很高的声誉，被称之为在算法上有“突破”。例如在1962年以前，由于原有各种算法计算耗时太多，因而求解非线性函数的极小值一般只能计算10个变量以下的问题，而应用了DFP法，可以在几分钟内计算出100个变量的函数极小值，有的问题只用半分钟即可解出。而相应的问题用其它算法求解，则要30分钟才能解出。 变尺度法和共轭梯度法一样，都是为了克服梯度法收敛慢和Newton法计算工作量大的缺点而提出来的一种算法。 变尺度算法 基本思想 变尺度算法 DFP算法 BFGS算法 变尺度算法