第四章一维搜索.docVIP

第四章 一维搜索法 由第一章关于求解最优化问题概述中我们知道，从已知迭代点出发按照基本迭代公式来求解最优化问题，其关键在于如何构造一个搜索方向和确定一个步长，使下一迭代点处的目标函数值下降，即．现在我们来讨论，当搜索方向已经确定的情况下，如何来确定步长？步长因子的选取有多种方法，如取步长为常数，但这样选取的步长并不最好，如何选取最好步长呢？实际计算通常采用一维搜索来确定最优步长． 对无约束最优化问题 ， 当已知迭代点和下降方向时，要确定适当的步长使 比有所下降，即相当于对于参变量的函数 要在区间上选取使，即 ． 由于这种从已知点出发，沿某一下降的探索方向来确定步长的问题，实质上是单变量函数关于变量的一维搜索选取问题，故通常叫做一维搜索．按这种方法确定的步长又称为最优步长，这种方法的优点是，它使目标函数值在搜索方向上下降得最多． 今后为了简便起见，我们用记号 （4.1） 表示从点出发沿方向对目标函数作直线搜索所得到的极小点是．其中和分别是Linear search（直线搜索）两词的词首．在目标函数已确定的条件下（4.1）等价于如下两式： 下面进一步解释迭代点的空间位置．容易证明，若从出发，沿方向进行一维搜索得极小点，则该点处的梯度方向与搜索方向之间应满足 ． (4.2) 事实上，设，对求导有 图4.1 ． 令，即，所以． 式（4.2）的几何意义是明显的．从某一点出发沿方向对目标函数作直线搜索，所得到的极小点为．式（4.2）指出，梯度必与搜索方向正交．又因为与目标函数过点的等值面正交，所以进一步看到，搜索方向与这个等值面在点处相切（如图4.1所示）． §4.1 搜索区间及其确定方法 一、搜索区间 设一维最优化问题为 ．　 （4.3） 为了求解问题（4.3），我们引入如下的搜索区间概念． 定义4.1 设，并且 ， 若存在闭区间使，则称是问题（4.3）的搜索区间． 简言之，一个一维最优化问题的搜索区间，就是包含该问题最优解的一个闭区间．通常，在进行一维搜索时，一般要先确定出问题的一个搜索区间，然后在此区间中进行搜索求解． 二、加步探索法 下面，介绍一个确定问题(4.3)的搜索区间的简单方法．这个方法的思想是：先选定一个初始点和初始步长．然后，沿着轴的正方向探索前进一个步长，得到新点．若目标函数在新点处的值是下降了，即 ， 则下一步就从新点出发加大步长，再向前探索．若目标函数在新点处的 函数值上升，即 ， 则下一步仍以为出发点以原步长开始向轴的负方向同样探索．当达到目标函数上升的点时，就停止探索，这时便得到问题（4.3）的一个搜索区间．这种以加大步长进行探索来寻找探索区间的方法叫做加步探索法． 加步探索法算法的计算步骤： (1) 选取初始数据．选取初始点，计算．给出初始步长，加步系数，令． (2) 比较目标函数值．令，计算，若，转(3)．否则转(4)． (3)加大探索步长．令，同时，令，，，，转(2)． （4） 反向探索．若，转换探索方向，令，转（2）．否则，停止迭代，令 输出． 加步探索法算法的流程图如图4.2所示。 在加步探索法中，一般建议．若能估计问题（4.3）的最优解的大体位置的话，初始点要尽量取接近于问题（4.3）的最优解．在具体运用上述加步探索法时，有时还要考虑一些细节问题．例如，当探索得到新点处的目标函数值和出发点处相同时，以及初始步长应如何选取等，都需作适当处理． 三、单谷区间与单谷函数 由于以后要介绍的一些维搜索方法，主要适用于问题（4.3）在搜索区间中只有唯一的最优解的情况，为此，我们再给出下面单谷区间与单谷函数概念． 定义4.2 设，闭区间．若存在点，使得在上严格递减，在上严格递增，则称是函数的单谷区间，是上单谷函数． 开始 开始 选取初始点t0，初始步长h00，加步系数α1，令k=0 φ0=φ(t0)，比较目标函数值tk+1=tk+hk, φk+1=φ(tk+1) a=min{t，tk+1} b=max{t，tk+1} 结束 N Y N Y φk+1φk hk+1=hk,t=tk ,tk=tk+1 ,φk=φk+1,k=k+1 k=0 hk =－ hk ,k=k+1 图4.2 由定义4.2易知，一个区间是某函数的单谷区间意味着，在该区间中函数只有一个“凹谷”（极小值）．例如，图4.3中的是的单谷区间，也即是上的单谷函数．图4.4中的不是的单谷区间，即不是上的单谷函数． 另外，从定义4.2还可知，某区间上的单谷函数在该区间上不一定是连续函数，而凸函数在所给区间上必然是单谷函数（如图4.3所示）．由定义4.1和定义4.2知，函数的单谷区间总是相应问题（4.3）的一个搜索区间（如图4.3所示），但反之不然（如图4.4所示）． 图4.3