现代设计方法-优化设计4-无约束优化.pptxVIP

现代设计方法优化设计部分黄正东，吴义忠2015 年本章主要内容 优化设计概述 优化设计的数学基础 一维探索优化方法 无约束优化方法 约束问题优化方法 优化设计若干问题无约束优化方法 坐标轮换法 梯度法 共轭方向法 鲍威尔法 共轭梯度法 牛顿法 变尺度法 优化设计概述 优化设计的数学基础 一维探索优化方法 无约束优化方法 约束问题优化方法 优化设计若干问题试想一个盲人在山顶，他怎么能够尽快找到山谷的家？1. 坐标轮换法X 0X 1x2X 2X 3x1(1) 算法思想1.将多维问题，降为多个 一维问题；2.在一维上可使用黄金分 割法等直接采样优化方 法；3.轮换地以每一个坐标轴 作为一维搜索方向。f(X)=c开始给定 x、d 的初始值计算a*使f(x+a·d)极小x? x + a*d满足收敛条件？结束形成新的d基于一维搜索的优化过程坐标轮换法方向正、负？(2) 算法初始化， ?0，M（最大迭代次数），n（维度）, k=1, x=x(0).2. 对于i=1,2,…,n， 进行 2.1Si=ei; 2.2 ?i=min f(x+?Si) 2.3 x= x+?iSi, f=f(x).3. 如果|?iSi|?, 或者 kM, 转步4; 否则，k=k+1,转步2。4. 输出x, f. 结束。一共进行了多少次一维搜索？(3) 举例(1)确定正负方向一维搜索坐标轮换法(3) 举例(1)坐标轮换法坐标轮换法(3) 举例以上举例是手算实现该算法，用计算机实现时，需用进退法和黄金分割法实现一维搜索。……坐标轮换法(4) 算法分析对于维数较高的优化问题，搜索时间过长，一般当n10时， 则不应采用此方法。2. 算法效率与f(x)形态有关。搜索无效收敛速度最快收敛速度慢x0?f(x0)df(x)=0f(x)=1f(x)=22. 梯度法基本思想 梯度方向是函数值增加最快的方向，而负梯度方向是函数下降最快的方向，所以梯度法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向一维搜索，直到满足精度要求为止。因此，梯度法又称为最速下降法。 设在某次迭代中已取得迭代点X(k)，从该点出发，取负梯度方向为搜索方向S(k)，即： 这样，第k+1次迭代计算所得的新点为：上式即为 梯度法迭代公式。 因为X(k)已知，故 和 不难求出，只要知道步长 后，就可以得到新点X(k+1)。由于每次迭代能保证 ，如此反复计算，最后总能达到最优点X*。 为了使目标函数值在搜索方向S(k)上获得最多的下降，每次迭代都进行一维搜索求最优步长，即求 迭代步骤1）任选初始点X(0)，计算精度ε，令k=0 ；2）计算 和 ；3）收敛判断， A.若 ，则X(k)为近似最优点，停止迭代，输出最优解： ， ； B.若 ，则转下一步继续迭代；4）令5）一维搜索确定最优步长因子 ，使6）计算 ；7）令k=k+1，转2）。例1： 用梯度法求函数 的极小值，初始点 ，计算精度 。一次搜索即可解：（1） 如果 转（2），否则转（5）。例2. 用一阶梯度法求目标函数 f(X)=x12+4x22 在初始点 X(0)=[2 2]T，迭代精度 ?=10-2 下的最优解。（2）（3） ，并转（1）。（4）第7次迭代后， 成立，停止迭代。（5）取 时， f(X*)=2.596×10-6≈0比较上面两个例题，能得出什么样的结论？梯度法的特点：负梯度方向只是函数值在点X(k)的邻域内下降最快的方向，离开该邻域以后函数值不一定下降最快。因此，采用负梯度方向，从局部看函数值下降快，从全局看却要走很多弯路。因此，梯度法的收敛速度较慢。梯度法的迭代过程，每相邻两步的搜索方向是垂直的，也就是说梯度法的迭代路线是呈锯齿形前进的。梯度法迭代过程中，当迭代点离理论极小点较远时，一次迭代的函数值下降量大。迭代点离极小点越近，函数值下降的速度就越慢。因此，梯度法常与其它优化方法结合使用。即第一步采用梯度法，后面采用其它的方法确定搜索方向。梯度法的收敛速度与目标函数的性质有关。如果目标函数的等值线（面）为同心圆（球），则无论从哪里出发