最优化理论及算法(第二章).docVIP

第二章 一维搜索 §2.1. 引言 一、精确与非精确一维搜索 如前所述，最优化算法的迭代格式为： 因而算法的关键就是选择合适的搜索方向，然后再确定步长因子。若设 现在的问题是从出发，沿方向搜索，希望找到，使得，这就是所谓的一维搜索或称为线搜索(line search)问题。 ⑴ 若求得的，使目标函数沿方向达到最小，即使得 或 ， 则称为最优一维搜索，或精确一维搜索。相应的称为最优步长因子。 ⑵ 如果选取，使目标函数获得可以接受的改善，即 ， 则称之为近似一维搜索，或非精确一维搜索。 注：精确搜索与非精确搜索在最优化算法中均广泛应用，它们存在各自的优缺点。 二、一维搜索的基本框架 一维搜索实际上是一元函数的极值问题，其基本的解决框架是： ⑴ 确定包含最优解的初始搜索区间； ⑵ 采用某些区间分割技术或插值方法不断缩小搜索区间，最后得到解。 注：值得注意的是，这样得到的解大多数情况下均为近似解。因此，即便采用精确一维搜索策略，只要应用了数值方法，最终得到的结果都不一定是真正数学意义上的最佳步长因子。 初始搜索区间的确定 定义2.1 设，是函数的最小值点，即。若存在闭区间，使 ，则称为一维极小化问题的搜索区间。 确定初始搜索区间的进退法 基本思想：从一点出发，按一定步长探测，试图找到函数值呈高－低－高变化的三点。具体地，从初始点出发，取初始步长为。若，则下一步从新点出发，加大步长，再向前搜索。若，则下一步仍从出发，沿反方向搜索，直到上升，即为止。 在确定了初始搜索区间后，剩下就是采用具体的一维搜索方法确定出。后面将分别介绍几种常用的一维搜索方法，这些方法主要是针对所谓单峰函数设计的。 单峰函数的定义 定义2.2 设，。若存在，使得函数在上单调下降，而在上单调上升，则称是函数的单峰区间，是上的单峰函数（准确地说应是单谷函数）。 单峰函数还可以等价地定义如下 定义2.3 如果存在唯一的，使得对于任意的且，有 ⑴ 若，则； ⑵ 若，则。 则称是上的单峰函数。 下面定理表明，对单峰函数，可以通过简单地比较函数值，缩小搜索区间。 定理2.4 设是上的一个单峰函数，，且。 ⑴ 若，则是的单峰区间； ⑵ 若，则是的单峰区间。 证明：略 §2.2. 精确一维搜索的收敛理论 一、基于精确一维搜索的极小化算法 无约束最优化问题算法的基本框架： ⑴ 给出初始点，允许误差，置 ⑵ 计算下降方向 ⑶ 利用一维搜索，确定步长因子，使 ⑷ 令，若，则停止，输出最优解。 否则，置，转⑵。 在上面算法中，采用了精确一维搜索。下面证明基于精确一维搜索的极小化算法的收敛性。 二、算法收敛性 定理2.5 设是的解，若，则有： 证明：由定理假设，有 ， 令 （若要，则必须，即与成锐角）， ， 定理证毕。 注：⑴ 由证明过程可以看出，必须和成锐角。 ⑵ 给出了精确搜索前提下，每步迭代所得改进量的估计式，显然与有关。 定理2.6 设是开集上的连续可微函数，若某一极小化算法满足： ，， 又设是序列的聚点，是满足的指标集。假定存在，使得，有，又设是序列的任意聚点，则 进一步，若在上二次连续可微，则还有 。 证明：设是满足 的指标集，下面用反证法证明。若定理结论不成立， 即 ， 由于 ， 注意到时， ， 则有 ， 因而必有 。 （﹡） 于是存在的邻域和指标集，使得当，时，有 ， （由（﹡）式可得） 设是一个充分小的正数，使得对所有，及所有，都有 ， （由，有界可得） 则 ， 与为有限值矛盾，故必有。 同样地，若 不成立，则必有 。 类似地，有 此矛盾表明必有： ，定理证毕。 定理2.7 设在水平集上存在且一致连续，算法产生的方向与的夹角满足： ， （是某个正数） 则或者对某个，使，或者有，或者有。 证明： 若有某个，使，则结论已证。因此，可设，。又由于是一个下降序列，若其无下界，则有，结论也成立。故可设有下界，因此存在。从而有：。 下证。反证：若，那么，不论多大，都存在，，使得 。 从而 由 （位于与之间） ， 注意到在上一致连续，故存在，使得当时，有 若在上面的不等式中取，则得 故有 这与矛盾。故必有。 注：⑴