三章一维优化方法.pptVIP

第三章 一维优化方法 初始搜索区间的确定 一维搜索的最优化方法1、格点法2、黄金分割法3、二次插值法教学要求： 1、掌握初始搜索区间的确定方法 2、掌握黄金分割法 3、掌握二次插值法 一维搜索方法概述 在优化设计的迭代运算中，在搜索方向s(k)上寻求最优步长 ?(k) 的方法称一维搜索法。实际上一维搜索法就是一元函数极小化的数值迭代算法，其求解过程称为一维搜索。 一维搜索法是非线性优化方法的基本算法，多元函数的迭代算法都可以归结为在一系列逐步产生的下降方向上的一维搜索。 例如：下图所示的二维优化的例子。 二维优化问题的一维搜索方向s(k)是由具体的优化方法决定的，迭代公式 x(k+1)=x(k)+?(k)s(k) 因此，二维优化问题minF(x1, x2)就可以表示为一维优化问题min f(? ) 3.1 初始搜索区间的确定 在一维搜索时，需要确定一个搜索区间[a,b]，此区间必须包含函数的极小点 x*，因此搜索区间必须是单峰区间，即该区间内的函数值呈现“高-低-高”的趋势。如图所示，通过将搜索区间[a,b]逐渐缩小，直至足够小，就可以得到近似最优点。 在一维搜索时，需要确定一个搜索区间[a,b]，此区间必须包含函数的极小点 x*，因此搜索区间必须是单峰区间，即该区间内的函数值呈现“高-低-高”的趋势。如图所示，通过将搜索区间[a,b]逐渐缩小，直至足够小，就可以得到近似最优点。 确定初始搜索区间的进退法 一、试探搜索极小点位置 设函数为 y=f(x) ,给定初始点为x1 ，选定的初始步长为h0。 由初始点x1沿x轴正向取x2点，x2=x1+h0，计算x1 、x2的函数值y1 、y2 ，比较y1 、y2 的大小，则极小点的位置有如图所示两种情况 1、若y2 y1 ，则极小点位于x1点右方，应继续前进搜索。 2、若y2y1 ，则极小点位于x1点左方，应反向后退搜索。 确定初始搜索区间的进退法 二、前进搜索 令h ? h0，并使步长加倍h?2h，取得前进方向的x3点，x3 ? x2+h=x2+2h0，其函数值y3与y2比较有如下情况： 1、若y2y3，则有y1 y2y3，此时函数f(x)在[x1,x3]必有极小点，故令a ? x1，b ? x3，从而构成搜索区间[a,b] 2、若y2y3，则继续前进搜索，各点变换如下： x1 ? x2 ，y1 ? y2 x2 ? x3 ，y2 ? y3 然后步长加倍，取新点x3，重复上述比较y2与y3的大小，直至出现y1 y2y3时，令a ? x1，b ? x3，从而构成搜索区间[a,b] 三、后退搜索 令h ? -h0，并将x1与 x2对调，使步长加倍h?2h，取得x3点，x3 ? x2+h，其函数值y3与y2比较有如下情况： 1、若y2y3，则有y1 y2y3，此时函数f(x)在[x3,x1]必有极小点，故令a ? x3，b ? x1，从而构成搜索区间[a,b] 2、若y2y3，则继续后退搜索，各点变换如下： x1 ? x2 ，y1 ? y2 x2 ? x3 ，y2 ? y3 然后步长加倍，取新点x3，重复上述比较y2与y3的大小，直至出现y1 y2y3时，令a ? x3，b ? x1，从而构成搜索区间[a,b] 四、进退法确定搜索区间的流程图 3.2 一维搜索的最优化方法 在确定了搜索区间以后，一维优化的任务是采用某种方法将此区间逐步缩小，在满足收敛精度或迭代精度的情况下，使其达到包含极小点的一个很小的邻域，以取得一个近似的最优点。 一维优化的方法有如下几种： 1、格点法 2、黄金分割法 3、二次插值法 3.2.1 格点法 一、格点法的原理 设一维函数为f(x)，搜索区间为[a,b]，一维收敛精度为?。 在区间[a,b]的内部取n个等分点： x1 , x2 , … , xn。区间被分为n+1等分，各分点坐标为 对应各点的函数值为y1 , y2 , … , yn。比较其大小，取最小者ym=min{yk , k=1,2,…,n}，则在区间[xm-1 , xm+1]内必包含极小点，取[xm-1 , xm+1]为缩短后新区间，若新区间满足收敛条件 xm+1- x m-1? ? ，