最优化方法（刘）第三章.pptVIP

问题描述 进退法（寻找下单峰区间） 算法3.1 进退法 作业（上机） Fibonacci法 例3.1（Fibonacci法） Fibonacci方法评价 黄金分割法 算法3.2 黄金分割法 算法3.2 黄金分割法 例3.2（黄金分割法） 黄金分割法和Fibonacci法之间的关系 作业：黄金分割法（上机） 二分法 抛物线法 算法3.3 抛物线法（二次插值法） Wolfe原则 Wolfe原则的解释 不精确的线搜索Wolfe算法 例3.3（不精确线搜索） 作业：不精确线搜索Wolfe算法（上机） 信赖域方法 基本思想 基本思想 信赖域方法的模型子问题 信赖域半径的选择 信赖域算法 折线法基本思想 折线法算法原理(1970) 双折线法 (1979) 关于满足Wolfe原则的步长 的存在性： 定理： 设 有下界且 令 则存在区间 使得 均满足式（3.3.1)和 3.3.2（也满足3.3.3）． 问题： 设已知 下降方向 求问题： 的近似值 使 满足(3.3.1)和(3.3.2) 算法3.4 不精确的线搜索Wolfe算法 step1： 给定 令 Step2： 计算 若 满足(3.3.1)和(3.3.2)式,则令 若 不满足(3.3.1),则令j=j+1, 转Step3 若 不满足(3.3.2),则令j=j+1, 转Step4 Step3： 令 转Step2 Step4： 令 转Step2 停 用不精确线搜索求Rosenbrock函数： 解： 在点 沿方向 的近似步长 Step1： 给定 令 Step2： 因为 所以（3.3.1）不成立，转Step3 Step3： 令 转Step2, 重新计算 计算过程见下表： 成立 成立 0.790 0.125 1 3 不成立 0.953 0.25 1 2 不成立 6.25 0.5 1 1 不成立 100 1 1 0 条件(2) 条件(1) 与黄金分割法对比：初始区间[0,1],精度0.001 0.778 0.775 0.180 0.146 [0.090,0.236] 4 0.775 0.834 0.146 0.090 [0,0.236] 3 0.775 0.790 0.146 0.125 [0.090,0.180] 5 0.894 0.775 0.236 0.146 [0,0.382] 2 2.511 0.894 0.382 0.236 [0,0.618] 1 14.732 2.511 0.618 0.382 [0,1] 0 迭代 次数 0.771 0.771 0.164 0.162 [0.159,0.167] 10 0.771 0.771 0.162 0.159 [0.154,0.167] 9 0.771 0.772 0.159 0.154 [0.146,0.167] 8 0.772 0.771 0.167 0.159 [0.146,0.180] 7 0.771 0.774 0.159 0.146 [0.125,0.180] 6 迭代 次数 测试用:例3.3 计算用:例3.3中: 并和黄金分割法对比． 二、信赖域方法 信赖域方法是求解最优化问题的另一类有效 方法． 其最初的设计思想可追溯至Levenberg和 Marquart对Gauss－Newton法的修正． 线搜索方法是把一个复杂的最优化问题转化 成一系列简单的一维寻优问题． 信赖域方法是把 最优化问题转化为一系列相对简单的局部寻优 问题． 牛顿法的基本思想是在迭代点 附近用二次 函数逼近 并以 的 的极小点 修正 得到： 以上方法只能保证算法的局部收敛性， 为了建 立总体收敛性算法， 我们采用了线搜索技术． 虽然 这种策略是成功的， 但它有一个缺点， 即没有进一 步利用二次模型． 牛顿法的基本思想是在迭代点 附近用二次 函数逼近 并以 的 的极小点 修正 得到： 以上方法只能保证算法的局部收敛性， 为了建 立总体收敛性算法， 我们采用了线搜索技术． 虽然 这种策略是成功的， 但它有一个缺点， 即没有进一 步利用二次模型． 信赖域方法是另一种新的保证 算法总体收敛的方法． 其中 是Hesse阵 的近似 为信赖域半径． 注： (1) 这种方法既具有牛顿法的快速局部收 敛性， 又具有理想的总体收敛性． (2) 不要求目标函数的Hesse阵是正定的． (3) 利用了二次模型来求修正量， 使得目标函数 的下降比线性搜索方法更有效． (4) 由于步长受到使Taylor展开式有效的信赖 域的限制， 故方法又称为有限步长法． 根据模型函数 对目标函数 的拟合程度 来调整信赖域半径 对于问题(1)的解 定义比值： 它衡量模型函数 与目标函数 的一致性 程度． 注： (1) 越接近于１， 表明模型函数与目标 函数的一致性程度越好， 可以增大 以扩大 信赖