非线性规划3 不精确线性搜索法.pptVIP

放松对 的要求，只要求目标函数在迭代的每一步都有充 分下降即可。这样可大大减少求 的工作量 不精确LS法。 OR XJTU 第二章 线性规划 * 不精确线性搜索法 目的：为克服精确线性搜索法的不足 △在寻求目标函数的最优解时，往往没必要把LS搞得十分精确，特别是在算法的初始阶段更是如此。 △精确LS法虽可使目标函数在每次迭代中下降较多，但计算工作量比较大； 非线性规划 建立不同的具体规则，就可以构成不同的不精确LS法 常用规则： ●既不希望 取得太大而引起 的大幅度摆动 ●也不希望 取得太小而致使 在达到 之前就过早地移步不前 Goldstein准则 给定 ，选取 满足： （1） 左不等式说明应选取 使 有充分的下降,右不等式保证了步长 不会取值太小。 第四章 非线性规划 (1)式等价于以下两个不等式 令 ， 则由(2)、(3)有， 在 平面上，点 应在下述两条直线之间： 第四章 非线性规划 也就是说，夹在这两条直线之间的曲线 所对应的 均满足(1)式。 称满足（1）式的 为可接受步长； 由所有可接受步长构成的区间称为可接受区间。 Remark: 这个条件是必要的 第四章 非线性规划 事实上，若 是满足条件 的二次函数，则 的全局极小点为 而相应的全局极小值为 由式（4）可得 由这两个表达式，并注意到 ，则有 第四章 非线性规划 Goldstein不精确LS的计算步骤： 第四章 非线性规划 S1：给定初始搜索区间 及 ， 计算 令 ，取 ， S2：计算 ，若 ，则转S3； 否则， ，转S4 S4： ，转S2. S3：若 ，则 ，输出 ，停止； 否则， ； 第四章 非线性规划 无约束最优化问题 （△） 典型算法： 解析法： 可微，算法迭代过程中要用到 等信息 直接法： 无需可导，算法迭代过程中仅用到函数值 第四章 非线性规划 无约束优化问题的最优性条件： 由上节介绍下降方向时的定理易知 Th(极值的必要条件)：设 在点 处可微， 若 为问题（△）的局部最优解，则必有 ※使 成立的点 称为函数 的驻点、稳定点，或平稳点 Remark: 平稳点可以是极小点，也可以是极大点； 甚至也可能既不是极小点，也不是极大点， 第四章 非线性规划 Th(极值的充分条件)：设 （即函数具有连续的二 阶偏导数）， 为它的一个稳定点，则 为 的一个严 格局部最优解的充分条件是 的Hesse阵 正定。 Proof: 因为 为 的稳定点，故有 . 将 在 处进行Taylor展开，有 由 的正定性得： 而 为 的高阶无穷小量。 必然存在 ，使得 , .□ 第四章 非线性规划 Example： 稳定点 ： 若 为正定阵，则其驻点 必为（全局）最优解。 Th(凸函数的极值条件)：设 ， ， 是 上的 可微凸函数，若有 ，则 为问题（△）的全局最优 解。 Proof:因 为 上的可微凸函数，故由前述凸函数的等价刻 画定理知： 由于 ，则有 对于无约束凸规划问题，其目标函数的驻点即为其全局最优