4第四章节 无约束优化方法new.ppt

第四章 无约束优化方法 最速下降法 牛顿型方法 共轭方向及共轭方向法 共轭梯度法 变尺度法 坐标轮换法 Powell法 无约束优化方法是优化技术中基本的也是非常重要的内容。无约束优化问题的数学模型 求上述问题最优解（x*,F*）的方法，称为无约束优化方法 使用无约束优化方法，不仅可以直接求无约束优化设计问题的最优解，而且通过对无约束优化方法的研究给约束优化方法建立明确的概念、提供良好的基础·某些优化设计方法就是先把约束优化设计问题转化为无约束问题后，再直接用无约束优化方法求解。 无约束优化方法算法的基本过程是:从选定的某初始点x(k)出发，沿着以一定规律产生的搜索方向d(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的新迭代点x(k+1),使之逐步通近最优点x* 。可以把初始点x(k) 、搜索方向d(k) 、迭代步长a(k) 称为优化方法算法的三要素。其中以搜索方向d(k)更为突出和重要，它从根本上决定若一个算法的成败、收敛速率的快慢等。所以·一个算法的搜索方向成为该优化方法的基本标志，分析、确定搜索方向d(k)是研究优化方法的最根本的任务之一。各种无约束优化方法的区别就在于确定其搜索方向d(k) 的方法不同。 4.5 共轭梯度法 共轭梯度法是共轭方向法的一种，因为该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，所以称作共轭梯度法。 对于二次函数 五、共轭梯度法的特点 共轭梯度法属于解析法，其算法需求一阶导数，所用公式及算法简单，所需存储量少。 该方法以正定二次函数的共轭方向理论为基础，对二次型函数可以经过有限步达到极小点，所以具有二次收敛性。但是对于非二次型函数，以及在实际计算中由于计算机舍入误差的影响，虽然经过n次迭代，仍不能达到极小点，则通常以重置负梯度方向开始，搜索直至达到预定精度，其收敛速度也是较快的。 4.6 DFP变尺度法 变尺度法也称拟牛顿法，它是基于牛顿法的思想而又作了重大改进的一类方法。我们所介绍的变尺度法是由Davidon于1959年提出又经Fletcher和Powell加以发展和完善的一种变尺度法，故称为DFP变尺度法。 一、变尺度法的基本思想 变尺度法的基本思想与牛顿法和梯度法有密切联系。观察梯度法和牛顿法的迭代公式 x(k+1)=x(k)-?(k)g(k)和 x(k+1)=x(k)-?(k)Gk-1 g(k)  分析比较这两种方法可知：梯度法的搜索方向为 -g(k) ，只需计算函数的一阶偏导数，计算量小，当迭 代点远离最优点时，函数值下降很快，但当迭代点接近最优点时收敛速度极慢。 牛顿法的搜索方向为- Gk-1 g(k) ，不仅需要计算一 阶偏导数，而且要计算二阶偏导数及其逆阵，计算量 很大，但牛顿法具有二次收敛性，当迭代点接近最优 点时，收敛速度很快。 若迭代过程先用梯度法，后用牛顿法并避开牛顿法的海赛矩阵的逆矩阵的烦琐计算，则可以得到一种较好的优化方法，这就是“变尺度法”产生的基本构想 为此，综合梯度法和牛顿法的优点，提出变尺度法的基本思想。它不用计算二阶导数的矩阵和它的逆阵，而是设法构造一个对称正定矩阵Hk来代替海赛矩阵的逆阵G ?1 ，并在迭代过程中， 使其逐渐逼近 G ?1。因此，一旦达到极值点附近， 就可望达到牛顿法的收敛速度， 同时又避免了矩阵的求逆计算。由于对称矩阵Hk在迭代过程中是不断修正改变的， 它对梯度?f(xk)起到改变尺度的作用， 因此称Hk为变尺度矩阵。 坐标轮换法 坐标轮换法属于直接法，既可以用于无约束优化问题的求解，又可以经过适当处理用于约束优化问题求解。 坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流地转化成单变量（其余变量视为常量）的优化问题，因此又称这种方法为变量轮换法。此种方法只需目标函数的数值信息而不需要目标函数的导数。 一、坐标轮换法的迭代过程 4.8鲍威尔方法 鲍威尔方法是直接搜索法中一个十分有效的算法。该算法是沿着逐步产生的共轭方向进行搜索的，因此本质上是一种共轭方向法。这种方法不用对目标函数求导计算。当目标函数不易求导或导数不连续时，可以采用这种方法。 无约束优化问题的评价准则 为了比较各种优化方法的特性，必须建立合理 的评价准则。 无约束优化方法