不精确线性搜索方法专业知识讲座.pptVIP

本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。 一维搜索过程是最优化的基本组成部分 , 包括精确一维搜索 和不精确一维搜索 . 精确搜索方法缺点 : 1. 精确一维搜索方法一般需要花费很大的工作量 , 特别是当 迭代点远离问题的解时 , 精确的求解一个一维子问题通常 不是有效的 . 2. 有些最优化方法 , 其收敛速度并不依赖于精确一维搜索过 程 . 不精确一维搜索方法 ：总体希望收敛快，每一步不要求达到 精确最小，速度快，虽然步数增加，则整个收敛达到快速 . 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。 1. Goldstein 准则 Armijo(1966 ， 阿弥舟 ) 和 Goldstein(1965 ， 高斯丁 ) 分 别了提出了不精确一维搜索过程 . 设 { 0 ( ) ( )} k k k J f x d f x ? ? ? ? ? ? 是一个区间，如图 3.1 所示 . 区间为 ? ? 0, a . 下降准则 : 目标函数单调下降 , 同时要求下降不是 太小 ( 否则下降序列的极限值可能不是极小值 ). 必须避免所选择的 ? 太靠近区间 J 的端点 . 从而要 求 : ( ) ( ) T k k k k k f x s f x g s ? ? ? ? (1) 其中 1 0 2 ? ? ? , k k k s d ? ? ， ( ) k k g f x ? ? . 满足 (1) 式要求的 k ? 构成区间 ? ? 1 0, J c ? , 这排除了区间 J 右端点 附近的点 . 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。 为了避免 ? 太小的情况 , 加上另一个要求 : ( ) ( ) (1 ) T k k k k k f x s f x g s ? ? ? ? ? (2) 这排除了区间 J 左端点 附近的点 . 满足 (1) 和 (2) 要求的 ? 构成了区间 ? ? 2 , J b c ? . 把 (1) 和 (2) 称为 Goldstein 不精确线性搜索准则 . 满足 (1) 和 (2) 式的步长因子称为 可接受步长因子 . 区间 ? ? , b c 称为 可接受区间 . 问题 ：加入公式 (2) 的优缺点 ? 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。 图 3.1 可接受区间的选取 把目标函数的极小点排除在可接 受区域之外 !! 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。 若设 ( ) ( ) k k f x d ? ? ? ? ? , 则 (1) 和 (2) 可简写为 : ( ) (0) (0) k k ? ? ? ?? ? ? ? ? (3) ( ) (0) (1 ) (0) k k ? ? ? ? ? ? ? ? ? ? (4) 1 2 ? ? 是必须的 , 否则会影响采用此准则算法的超线性收 敛 . 本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不 当之处，请联系本人或网站删除。 Goldstein 算法步骤 : Step 1. 选取初始数据 , 在初始搜索区间 ? ? 0, ?? 或 ? ? max 0, ? 中取 定 初 始 点 0 ? , 计 算 (0), (0) ? ? ? , 给 出 1 0, 2 ? ? ? ? ? ? ? ? , 1 t ? . 令 0 0 max 0, ( ) a b ? ? ? ?? , : 0 k ? . Step 2. 检验准则 (3). 计 算 ( ) k ? ? , 若 (3) 式 成 立 , 转 Step 3; 否 则 , 令 1 1 : , : k k k k a a b ? ? ? ? ? , 转 Step 4. Step 3. 检验准则 (4). 若