现代设计方法优化设计无约束优化.pptxVIP

现代设计方法优化设计部分;本章主要内容 优化设计概述 优化设计的数学基础 一维探索优化方法 无约束优化方法 约束问题优化方法 优化设计若干问题; 优化设计概述 优化设计的数学基础 一维探索优化方法 无约束优化方法 约束问题优化方法 优化设计若干问题;坐标轮换法;基于一维搜索的优化过程;坐标轮换法;坐标轮换法;坐标轮换法;坐标轮换法;坐标轮换法;; 设在某次迭代中已取得迭代点X(k)，从该点出发，取负梯度方向为搜索方向S(k)，即： ;这样，第k+1次迭代计算所得的新点???：; 因为X(k)已知，故 和 不难求出，只要知道步长 后，就可以得到新点X(k+1)。由于每次迭代能保证 ，如此反复计算，最后总能达到最优点X*。 为了使目标函数值在搜索方向S(k)上获得最多的下降，每次迭代都进行一维搜索求最优步长，即求 ;迭代步骤;5）确定最优步长因子 ，使 6）计算 ； 7）令k=k+1，转2）。 ;例1： 用梯度法求函数 的极小值，初始点 ，计算精度 。 ; 解：（1） 如果 转（2），否则转（5）。 ;（2）;（3） ，并转（1）。 （4）第7次迭代后， 成立，停止迭代。 （5）取 时， f(X*)=2.596×10-6≈0 ;梯度法的特点： 负梯度方向只是函数值在点X(k)的邻域内下降最快的方向，离开该邻域以后函数值不一定下降最快。因此，采用负梯度方向，从局部看函数值下降快，从全局看却要走很多弯路。因此，梯度法的收敛速度较慢。 梯度法的迭代过程，每相邻两步的搜索方向是垂直的，也就是说梯度法的迭代路线是呈锯齿形前进的。;梯度法迭代过程中，当迭代点离理论极小点较远时，一次迭代的函数值下降量大。迭代点离极小点越近，函数值下降的速度就越慢。因此，梯度法常与其它优化方法结合使用。即第一步采用梯度法，后面采用其它的方法确定搜索方向。 梯度法的收敛速度与目标函数的性质有关。如果目标函数的等值线（面）为同心圆（球），则无论从哪里出发，只需要一次搜索就能达到极小点。;1.基本牛顿法;;上式即为基本牛顿法的迭代公式，其中S(k)称为牛顿方向。;基本牛顿法的特点： 对于二次函数而言，取到二次项的泰勒展开式就是目标函数本身。如果二阶导数矩阵正定，那么按基本牛顿法求出的X(1)就是目标函数的精确极小点。因此，对正定二次函数而言，牛顿法只需一次迭代就可以达到精确极小点。 基本牛顿法迭代时步长总是为1，对非二次函数、非正定函数而言，一次迭代并不能达到极小点，有时还可能失效（即总是不能收敛）。;2.阻尼牛顿法;阻尼牛顿法迭代步骤：;6）收敛判断， A.若 ，则X(k+1)为近似最优点，停止迭代，输出最优解 和 ； B.若 ，则令k=k+1，转2）继续迭代.; 数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点，但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离极小点比较远，就难保证收敛；另外，牛顿法必须求一阶导数、二阶导数矩阵及其逆阵，这对复杂的目标函数来说，是比较较困难的。 ;梯度法构造简单，只用到一阶偏导数，计算量小，迭代初期收敛速度快，但当迭代点到最优点附近时收敛速度极慢；;牛顿法收敛很快，对二次函数只需迭代一次就能达到最优点，对非二次函数也能较快达到最优点，但牛顿法计算量和存储量偏大。而且某些函数可能根本无法计算二阶偏导数矩阵及其逆阵。;变尺度法的搜索方向为 变尺度法的基本