[自然科学]第4章常用的无约束优化方法1.ppt

2000-9-15 机械创新设计第二篇 机械创新设计(谢宋良，吴和平)，自编 第四章 常用的无约束优化方法 4.1 坐标轮换法 4.2 鲍威尔(Powell)法 4.3 梯度法 4.5 牛顿法 4.6 DFP变尺度法 4.7 BFGS变尺度法 无约束优化方法的评价准则及选用 概述 4.1 坐标轮换法 迭代步长α的确定 ①最优步长 利用一维优化方法确定沿该方向上具有最小目标函数值的步长，即: min{F(X(k)+α(k)S(k))}=min{F(X(k)+α(k)S(k))} ②加速步长 先选择一个不大的初始步长α0，在每次一维搜索中都是先沿正向从α←α0开始作试探计算函数值，若函数值下降，则以倍增的速度加大步长，步长序列为α0、2α0、4α0、8α0、…直到函数值保持下降的最后一个步长为止。若试探时函数值已增大，则改沿反向，即取α←-α0后再加速步长。 终止准则: 坐标轮换法的流程图 坐标轮换法的特点 具有程序结构简单，易于掌握等优点。但是计算效率比较低，这一缺点当优化问题的维数较高时更为突出。 一般认为，此方法应用于n10的低维优化问题比较适宜 收敛速度与等值线的形状有关 例题4.1 对于第一轮按终止条件检验: 例题4.1 例题4.1 用解析法验证 4.2 鲍威尔(Powell)法 鲍威尔法是直接搜索法中一个十分有效的算法。该算法是沿着逐步产生的共轭方向进行搜索的，因此本质上是一种共轭方向法，鲍威尔法的收敛速率较快，一般认为n20是成功的。 以共轭方向作为搜索方向，不只限于鲍威尔法，也用于其他一些较为有效的方法，可以统称为共轭方向法。因此，共轭方向的概念在优化方法研究中占有重要的地位。 共轭方向在最优化问题中的应用是基于其具有一个重要性质，即：设 S1、S2、…、Sn是关于A的n个互相共轭的向量，则对于求正定二次函数 的极小点，从任意初始点出发，依次沿Si i=1，2，…，n)方向进行一维最优化搜索，至多n步便可以收敛到极小点． 4.2 鲍威尔(Powell)法 2.5 关于优化方法中搜寻方向的理论基础2.5.2 共轭方向 一、共轭方向的基本概念 若有两个n维矢量S1、S2，对n×n阶对称正定矩阵A能满足: 2.5 关于优化方法中搜寻方向的理论基础2.5.2 共轭方向 一、共轭方向的基本概念 一、共轭方向的基本概念 与此类似，可以推出对于n维正定二次函数共轭方向的一个十分重要的极为有用的性质：从任意初始点出发，依次沿n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜索，那么总能在第n步或n步之前就能达到n维正定二次函数的极小点；并且这个性质与所有的n个方向的次序无关。简言之，用共轭方向法对于二次函数从理论上来讲，n步就可达到极小点。因而说共轭方向法具有有限步收敛的特性。通常称具有这种性质的算法为二次收敛算法。 二、共轭矢量的几个性质 共轭矢量之所以引起优化研究者的重视，是因为它的某些性质对提高优化方法的收敛速率极为有用。 (1) 矢量S1与S2正交关系，是矢量S1与S2对A共轭的特殊情形。 在n维设计空间里，单位坐标矢量系：e1，e2，…，en为正交矢量系。 (2) 若矢量系S1、S2、…、Sn，对于对称正定矩阵A共轭，则它必为线性独立(线性无关)矢量系。对于n维设计空间而言，线性独立矢量系中的矢量个数不能超过维数n，即共轭矢量系中矢量个数最多等于n(证明略)。 (3) 关于二次收敛性问题 例2.1 例2.1 4.2.1 鲍威尔基本算法 4.2.1 鲍威尔基本算法 4.2.1 鲍威尔基本算法 4.2.1 鲍威尔修正算法 4.2.1 鲍威尔修正算法 4.2.1 鲍威尔修正算法 4.2.1 鲍威尔修正算法 4.2.1 鲍威尔修正算法 用解析法验证 4.3 梯度法 用解析法验证 4.5 牛顿法 4.5.1 原始牛顿法 原始牛顿法的基本思想：在第k次迭代点X(k)邻域内，用一个二次函数φ(X)去近似代替原目标函数F(X)，然后求出这个二次函数的极小点作为对原目标函数求优的下一个迭代点X(k+1)，通过若干次的重复迭代，使迭代点逐步逼近原目标函数的极小点X* 一元函数f(x)的例子 4.5 牛顿法 4.5.1 原始牛顿法 4.5 牛顿法 4.5.1 原始牛顿法 4.5 牛顿法 4.5 牛顿法 梯度法和牛顿法对比 用解析法验证 F(x)＝4(x1＋1)2＋2(x2－1)2＋x1＋x2＋10 4.6 DFP变尺度法 4.6 DFP变尺度法 4.6.2 变尺度法构造矩阵的产生 4.6.2 变尺度法构造矩阵的产生 4.6.3 对DFP法几个问题的