lbc—第4章无约束问题的最优化方法2012.pptVIP

第四章???无约束问题的最优化方法 §4.1 引言 §4.2 梯度法(最速下降法) 　 　 §4.3 牛顿法 §4.4 坐标轮换法 §4.5 Powell 法 §4.6 无约束优化设计方法小结 无约束优化设计方法小结 * * §4.1 引言 §4.2 梯度法 §4.3 牛顿法 §4.4 坐标轮换法 §4.5 Poweel法 §4.6 无约束优化设计方法小结 一. 定义： 求一组 n 维设计变量 X= [ x1, x2 ,…,x n ]T, 使目标函数达到 min. f(x) X∈Rn 对X没有任何限制 即求目标函数的最优解：最优点 x* 和最优值 f(x*) 。 条件： 对于无约束优化问题的求解，就是把求极值的问题变成求解方程 即求X使其满足: 二. 基本思想： 从给定的初始点X0出发， 沿着搜索方向d 进行搜索， 寻找αk使函数下降到新的点， 故形成以下迭代算法： f(Xk+1)f(Xk) 三. 内容： 一类是使用导数的方法，也就是根据目标函数的梯度（一阶导数）有时还要根据Hesse矩阵（即二阶导数）所提供的信息而构造出来的方法，就称为梯度方法。如：最速下降法，Newton法，共扼梯度法和变尺度法。 另一类是不使用导数的方法，统称为直接方法。如:坐标轮换法, Powell法和单形替换法 前者收敛速度快，但计算复杂（一阶，二阶导数）后者不用导数，适应性强，但收敛速度慢。因此再可以求得目标函数导数信息时，尽可能用另一方法，而若求目标函数导数很困难，或者根本不存在导数时，就用后一种方法． 无约束最优化可以分为两大类： 四. 意义： 为有约束优化方法的研究提供了策略思想、概念基础和基本方 　　法； 为有约束优化问题的间接解法提供了有效而方便的方法； 对于某些工程问题，进行分析后，便于提供解决的有效方法； 不可避免地还存在无约束优化的设计问题。 1. 基本思想： 目标函数负梯度向量方向代表最速下降方向，因此选择负梯度向量方向作为搜索方向，期望很快找到最优点。 最速下降法是求多元函数极值的最古老的数值算法，它直观，简单，计算方便，而且后来的一些新的有效的方法大多数是对它的改进，或受它的启发而得到的。其缺点是收敛速度较慢。 从某点X出发，其搜索方向d 取该点的负梯度方向 （最速下降方向），使函数值在该点附近的范围内下降最快，故形成以下迭代算法： = 2. 搜索方向： 为了使目标函数沿负梯度方向下降最快，应使步长因子应取一维搜索的最佳步长。即有： 根据一元函数极值的必要条件和多元复合函数求导公式，得： 负梯度向量 = 由此可知： 相邻两个迭代点上的函数梯度相互垂直； 相邻两个搜索方向互相垂直； 形成“之”字形的锯齿现象。 说明： 　3.程序设计： 沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 例1：求目标函数 的极小点。 解 取初始点 则初始点处函数值及梯度分别为 算出一维搜索最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 这个问题的目标函数的等值线为一簇椭圆,迭代点从 走的是一段锯齿形路线。 1 1 4. 方法评价： 迭代过程简单，对初始点的选择，要求不高。 梯度方向目标函数值下降迅速只是个局部性质，从整体来看，不一定是收敛最快的方向。 以二维二次函数为例，相邻两次的搜索方向是正交的，所以搜索路径是曲折的锯齿形的；对于高维的非线性函数，接近极值点处，容易陷入稳定的锯齿形搜索路径。 1. 基本思想： 将 f(x) 在 x(k) 点作台劳展开，取二次函数式Φ(x) 作为近似函数,以Φ(x) 的极小值点作为 f(x) 的近似极小值点。 说明： f(x) 若是正定二次函数，一般迭代一次即可；若是严重非线性函数，则可能不收敛，或收敛到鞍点。 2. 牛顿法： 例1：求目标函数 的极小点。 经过一次迭代即求得极小点 函数极小值 解 取初始点 从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述