最优化方法（王艳秋）第7讲 不精确线性搜索方法.pptVIP

* 3.5 不精确线性搜索方方法 Goldstein 准则 Wolfe 准则 Armijo 准则 收敛性分析 5. 线性搜索方法评述 图3.1 可接受区间的选取 把目标函数的极小点排除在可接受区域之外!! 简单的求区间中点的方法!! 图3.1 可接受区间的选取 不精确搜索下降量估计式! 5. 线性搜索方法评述 (1). 黄金分割法可靠性高, 适应性强, 并且计算简单, 但速度不如二次插值法. (2) . 在只需计算函数值的方法中, 二次插值法收敛速度比较快, 但是此法要求函数为解析性能较好的单峰函数,否则容易失效. (3). 如果函数的导数容易求出, 使用三次插值可望得到较高的效率. (4). 为了减少总的计算时间, 而降低一维搜索的精度往往是有效的(3个准则！). 作业 P111. 习题6. * 一维搜索过程是最优化的基本组成部分,包括精确一维搜索和不精确一维搜索. 精确搜索方法缺点: 精确一维搜索方法一般需要花费很大的工作量, 特别是当迭代点远离问题的解时, 精确的求解一个一维子问题通常不是有效的. 有些最优化方法,其收敛速度并不依赖于精确一维搜索过程. 不精确一维搜索方法：总体希望收敛快，每一步不要求达到精确最小，速度快，虽然步数增加，则整个收敛达到快速. 为了避免太小的情况,加上另一个要求: (2) 这排除了区间左端点附近的点. 满足(1)和(2)要求的构成了区间. 把(1)和(2) 称为Goldstein不精确线性搜索准则. 满足(1)和(2)式的步长因子称为可接受步长因子. 区间称为可接受区间. 问题：加入公式(2)的优缺点? 若设, 则(1)和(2)可简写为: (3) (4) 是必须的, 否则会影响采用此准则算法的超线性收敛. Goldstein 准则 Armijo(1966，阿弥舟)和Goldstein(1965，高斯丁)分别了提出了不精确一维搜索过程. 设 是一个区间，如图3.1所示. 区间为. 下降准则: 目标函数单调下降, 同时要求下降不是太小(否则下降序列的极限值可能不是极小值). 必须避免所选择的太靠近区间的端点. 从而要求: (1) 其中 ,，.满足(1)式要求的构成区间,这排除了区间右端点附近的点. Goldstein算法步骤: Step 1. 选取初始数据,在初始搜索区间或中取定初始点, 计算, 给出,.令, . Step 2. 检验准则(3). 计算, 若(3)式成立, 转Step 3;否则,令, 转Step 4. Step 3. 检验准则(4). 若(4)式成立,停止迭代,输出,否则,令, 若转Step 4, 否则, 令,转Step 2. Step 4. , 转Step 2. Wolfe 准则 在Goldstein 准则中, 步长因子的极小值可能被排除在可接受域之外. 为了克服这一缺点, Wolfe (沃尔夫) 给出了如下的条件来替代(2)式: (5) 即 . 几何解释: 可接受点处的切线的斜率大于或等于初始斜率的倍.(曲率条件) 从而曲率条件和充分下降条件 (6) (7) 一起构成了Wolfe准则.其中. 其可接受区间为. 精确线性搜索满足的正交条件: . (8) 不等式(6)是(8)式的近似. 为了使得当时, 为精确线性搜索. (6)式可写成: (9) 这是利用 来代替(6)式,在极限情况得到的. 或者 (10) 一般，越小，线性搜索愈精确, 不过, 值越小, 工作量越大, 一般取. Wolfe不精确线性搜索方法的计算步骤: Step 1. 选取初始数据.给定初始搜索区间,给出,.令,计算 ,取. Step 2. 计算. 若成立, 转Step 3; 否则,由二次插值公式计算: . 令, 转Step 2. Step 3. 计算. 若成立, 则令,输出,停止; 否则,由二次插值公式计算: . 令, 转Step 2. 3．Armijo准则 给定， 设是使得不等式: （11） 成立的最小非负整数. 由于是下降方向,当充分大时, 上述不等式总是成立的. 令,则总存在, 从而(11)式即是(3)式,