优化设计4.ppt

数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点，但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离极小点比较远，就难保证收敛；另外，牛顿法必须求一阶导数、二阶导数矩阵及其逆阵，这对复杂的目标函数来说，是比较困难的。 四、变尺度法 梯度法构造简单，只用到一阶偏导数，计算量小，迭代初期收敛速度快，但当迭代点到最优点附近时收敛速度极慢； 变尺度法是在梯度法和牛顿法的基础上发展起来的一种优化方法。用得较多的是DFP（Davidon-Fletcher-Powell)变尺度法。 1.基本思想 牛顿法收敛很快，对二次函数只需迭代一次就能达到最优点，对非二次函数也能较快达到最优点，但牛顿法计算量和存储量偏大。而且某些函数可能根本无法计算二阶偏导数矩阵及其逆阵。 为了综合梯度法和牛顿法的优点，扬长避短，产生了变尺度法。 变尺度法的搜索方向为 变尺度法的基本迭代公式为 式中，A(k)是一个需要构造的n 阶方阵，称为变尺度矩阵，它随迭代点位置的变化而变化，形成一个矩阵序列。 搜索方向S(k)=- A(k)?f (X(k))称为拟牛顿方向。 2.变尺度矩阵的构建 变尺度矩阵A(k)的构建是从A(0)=I开始，通过迭代公式 A(k+1) = A(k) + E(k) 得到的。E(k)称为修正矩阵，通过它的一步步修正，使A(k)逐步逼近[?2f(X(k))]-1 ，即使变尺度法的迭代方向逐步逼近牛顿方向。 修正矩阵取不同的形式，就形成了不同的变尺度法。 DFP变尺度法修正矩阵E(k)的构造公式为 E(0)=? ?(k)=? 3.变尺度法的迭代步骤 解： (1)取初始点： Eg: 用变尺度法求下列函数的极小值。 一维搜索最优步长因子的求解 （2）一维搜索 （3） 现代设计方法 第三章 优化设计 Optimization Design 本章主要内容 优化设计概述 优化问题的数学分析基础 一维探索优化方法 无约束多维问题的优化方法 约束问题的优化方法 多目标函数的优化方法 LINGO在优化设计中的应用 优化问题 一维优化问题 （1个设计变量） 多维优化问题（多个设计变量） 无约束多维问题 单目标函数的优化问题 多目标函数的优化问题 有约束多维问题 3.4 无约束多维问题的优化方法 无约束优化方法的核心是确定探索方向（能使目标函数值下降的方向），有了方向，沿这个方向应该走多远（最优探索步长），则可采用一维搜索方法解决。 一、 坐标轮换法（变量轮换法） 基本原理：沿着多维优化设计空间的每一个坐标轴作一维探索，求得最小值。 坐标轮换法的基本原理(以二维问题为例) x1 x2 ? X* X(0,1) X(1) X(2) X(3) X(0) 0 x1(0) x1(1) x1(2) x1(3) x1* ? x2(0) x2(1) x2(2) x2(3) x2* ? 初始点 平行于x1轴 理论极小值 坐标轮换法的迭代路线是呈锯齿形前进的 迭代步骤： （1）第1次迭代时，先固定 x2= x2(0) 变量值不动，由 初始点X(0) 沿 x1 轴向进行一维探索，得到该轴方向上的最优点 X(0,1)=[x1(1), x2(0)] ； （2）固定 x1=x1(1) 变量值不动，由初始点 X(0,1) 沿 x2 轴向进行一维探索，得到该轴方向上的最优点 X(1)=[x1(1), x2(1)] （3）将 X (1) 作为第1次迭代的改进点，之后，完全依照第1 次的步骤进行第2、3、…、k次的坐标轮换迭代，直到满足精度要求后停止迭代。 不同性质目标函数坐标轮换法的求优效能 x1 x2 X(1) X* X(0) 0 x1 x2 X* X(0) X(1) X(2) X(3) X(4) 0 X(0) 0 x1 x2 X* X(1) 收敛速度很快 收敛速度很慢 求优失效 等值线为椭圆,长、短轴与x1,x2轴平行 等值线为椭圆,长、短轴与x1,x2轴不平行 二、梯度法 1.基本思想 梯度方向是函数值增加最快的方向，而负梯度方向是函数下降最快的方向，所以梯度法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向进行一维搜索，直到满足精度要求为止。因此，梯度法又称为最速下降法。 设在某次迭代中已取得迭代点X(k)，从该点出发，取负梯度方向为搜索方向S(k)，即： 其中： 以单位负梯度方向为探索方向，第k+1次迭代计算所得的新点为： 上式即为梯度法迭代公式。 以负梯度方向为探索方向，第k+1次迭代计算所得的新点为： 因为X(k)已知，故?f(X(k)) 和 不难求出，只要知道步长? 后，就可以得到新点X(k+1)。由于每次迭代能保