6_3_非线性规划_多维无约束优化_0507范例.ppt

第六章 非线性规划 多维无约束非线性优化 概述 多维无约束优化问题是指在没有任何限制条件下寻求目标函数的极小点。其表达形式为： 研究无约束优化问题的意义： 在求解有约束优化问题的解时，有一大类解法是通过对约束条件的处理，把有约束问题变成一系列无约束的问题进行求解。研究无约束优化问题的解，也为研究约束优化问题的解法打下基础； 在实际问题中，某些实际问题的数学模型本身也可能是一个无约束优化问题。 在研究最优化问题时，通常首先要研究无约束问题的最优化问题。无约束优化问题求解的方法有多种，它们的主要不同点在于如何构造搜索方向。 最速下降法 基本思想 最速下降法由法国数学家Cauchy于1847年首先提出。该算法在每次迭代中，沿最速下降方向（负梯度方向）进行搜索，每步沿负梯度方向取最优步长，因此这种方法称为最优梯度法 算法特点 最速下降法方法简单，只以一阶梯度的信息确定下一步的搜索方向，收敛速度慢；越是接近极值点，收敛越慢 它是其它许多无约束、有约束最优化方法的基础。该法一般用于最优化开始的几步搜索。 最速下降法 算法分析 最速下降法 最速下降法由初始点向最优点迭代过程示意图 最速下降法 算法步骤 最速下降法 最速下降法的特点 牛顿法 概述 为了寻找收敛速度快的无约束最优化方法，我们考虑在每次迭代时，用适当的二次函数去近似目标函数，并用迭代点指向近似二次函数极小点的方向来构造搜索方向，然后精确地求出近似二次函数的极小点，以该极小点作为的极小点的近似值．这就是Newton切线法的基本思想，它是Newton切线法的推广 牛顿法 算法分析 牛顿法 迭代步骤 牛顿法 例1 用牛顿法求函数的极小点 牛顿法 牛顿法的收敛性质 阻尼牛顿法 算法思想 在牛顿法的实际操作中必须要选择一个具有较优目标值的初始点，但这往往是困难的。为了克服这个缺点，人们提出了“阻尼牛顿法”对此进行修正。 阻尼牛顿法 迭代步骤 阻尼牛顿法 收敛性质 阻尼牛顿法 例1 利用阻尼牛顿法求解非线性规划问题 取初始点 ，则 利用牛顿法和阻尼牛顿法求解二次型 共轭方向法 基本思想 共轭方向法 理论基础 共轭方向法 共轭的性质 共轭方向法 原理 共轭方向法 迭代步骤 共轭梯度法 基本思想 共轭梯度法 迭代步骤 共轭梯度法 FR公式 共轭梯度法 PRP公式和DM公式 与FR公式类似，我们还还可以采用Polak-Ribilere-Polyak(PRP)公式和Dixon-Myers公式。其形式分别为 FR、 PRP、DM这三个公式对于二次型函数问题的求解效果相同，对于非二次型函数在数值计算上会有差异，结果也会有所不同。 共轭梯度法 例1 利用FR法求解无约束非线性规划问题 拟牛顿法 什么是拟牛顿法 拟牛顿法的优点 仅需一阶导数（牛顿法需二阶导数） 保持正定，使得方法具有下降性质 每次迭代需 次乘法运算（牛顿法需 次乘法运算） 搜索方向是相互共轭的，从而具有二次终止性 变尺度算法 概述 变尺度法又称Davidon-Fletcher-Powell(DFP)算法，这是因为该算法在1959年由Davidon提出，后来经Fletcher和Powell解释并改进而得名。它是变尺度算法中提得最早的一个，该算法超线性收敛，对解多元函数的无约束极小是一个比较好的方法。该算法属于拟牛顿法的一种，变尺度法是求解无约束极值问题的一种有效方法，由于它避免了计算二阶导数矩阵及其求逆计算，又比梯度法的收敛速度快，特别是对高维问题具有显著的优越性，因而使变尺度法获得了很高的声誉，被称之为在算法上有“突破”。例如在1962年以前，由于原有各种算法计算耗时太多，因而求解非线性函数的极小值一般只能计算10个变量以下的问题，而应用了DFP法，可以在几分钟内计算出100个变量的函数极小值，有的问题只用半分钟即可解出。而相应的问题用其它算法求解，则要30分钟才能解出。 变尺度法和共轭梯度法一样，都是为了克服梯度法收敛慢和Newton法计算工作量大的缺点而提出来的一种算法。 变尺度算法 基本思想 变尺度算法 DFP算法 BFGS算法 变尺度算法 迭代步骤 变尺度算法 例1 利用变尺度算法求解无约束非线性规划问题 变尺度算法 变尺度算法 变尺度算法 变尺度算法和共轭梯度法的统一 多维无约束优化的求解函数fminunc 概述 MATLAB优化工具箱中提供了多维无约束非线性优化的求解函数fminunc，在MATLAB的该求解函数中运用到了我们前面提到的多种算法，例如利用