最优化方法第三章(1)..ppt

3.3 Newton法 如果目标函数 在 上具有连续的二阶偏导数， 其Hesse矩阵 正定且可以表达成显式（今后记 ），那么使用Newton法求解（3.1）会很快 地得到极小点。 1. 基本思想 考虑从 到 的迭代过程。在点 处，对 按Taylor级数展开到第三项，即 （3.29） 因为 正定，所以 是正定二次函数。令 得 （3.30） 由此解出 的极小点，记为 ，即 （3.31） 是 极小点 的新的近似点。 （3.31）称为Newton 迭代公式，由该公式产生的算法称为Newton法。 注意到，当目标函数 是正定二次函数（3.36）时， 。这说明：对于正定二次函数，Newton法一 次迭代就会得到最优解。 （3.31）有直观的几何解释。函数 过点 的等值 面方程为 （3.32） 在点 处，用一个与曲面（3.32）最密切的二次曲面来 代替它，这个二次曲面的方程即是 当 正定时，它是一个超椭球面， 的极小点 正是这个超椭球面的中心。我们就用 作为 极小点 的新的近似点。下图画出了二维情况时的几何解释。 例3.2 P154 2. 算法 算法3.5（Newton法） P155 从本章起，以后两章将讨论非线性规划问题。本章首先讨论无约束最优化问题，其一般形式为 （3.1） 其中 求解无约束问题的最优化方法可以分为两大类：一类是根据目标函数的梯度（即一阶导数），有时还要根据Hesse矩阵（即二阶导数）提供的信息构造出来的方法——导数方法。本章介绍其中的最速下降法、Newton法、共轭梯度法和拟Newton法。另一类是不使用导数，仅仅利用目标函数值的信息构造出来的方法——直接方法。本章将介绍其中的步长加速法、方法加速法和单纯形替换法。两类方法各有利弊。前者收敛速度快，但需要计算梯度，甚至需要计算Hesse矩阵；后者不涉及导数，适应性强，但收敛速度慢。一般的经验是，在可以求得目标函数导数的情况下，尽可能使用导数方法。 3.1 直线搜索 直线搜索（一维搜索）是指求解如下一元函数极小化问题 （3.3） 的迭代方法，其中 。 在微积分中，解决问题（3.3）的范围一般限于方程 （3.4） 可以直接解出的情况。而这里介绍的直线搜索对 严格的要求。当然，对于可以求出导数的情况，相应的求 解方法一般也会简单些。 不作 直线搜索，理论上，分为精确的和不精确的。 精确的直线搜索方法主要分为两类：一类为区间收缩法，另一类为函数逼近法。本节将相应地介绍两种常用的精确的直线搜索方法：适用于一般函数的黄金分割法和适用于一般连续函数的抛物线插值法。最后还将介绍实用的不精确一维搜索技术。 精确的直线搜索算法的实现通常是在所谓的搜索区间 上进行的 1. 搜索区间的确定 在以下讨论中，总假定一元函数 是单谷函数。 定义3.1 设 ， 是 在L上的全局 极小点。如果对于L上任意的两点 ，当 时， ；当 时， ，那么称 是区间L上的单谷函数。 下图给出了单谷函数的基本图形。 定义3.2 设 , 是 在L上的 全局极小点。如果能够找到 ，使得 那么闭区间 就称为 极小点的一个搜索区间， 记为 。搜索区间有时也记作 ，其中 显然，单谷函数的定义域区间是搜索区间。 单谷函数的性质。 定理3.1 设 是单谷函数 极小点的一个搜索区 间。 在 内任取两点 ，若 ，则 是 极小点的一个搜索区间；若 ，则 是 极小点的一个搜索区间。 直线搜索算法的第一步一般得先确定 的一个 （初始）搜索区间。根据定理3.1，可以给出确定搜索区间的如下算法。 算法3.1（确定搜索区间） 已知：目标函数 。 选定初始点 和步长 。 ②计算 ， ， 。 ③若 ，则置 ， ， ， ， ， 。 ， 转⑤； 否则转④。 ④置 ⑤计算 ， 。若 ，则转⑥； 否则转④。 ⑥置 ， （ 即为 搜索区间），计算结束。 上述过程开始时，必须选定初试点 和步长 。对于 任意给定的 ，一般来说， 无固定选取模式。 但对于在下降算法模式中所引入的 而言，可选取 等于0（理论上）或接近0（实际计算中）。 而对于 ，如果选得过小，那么需要迭代许多次才能找到一个搜索区间；如果选得太大，虽然很少几步就可能把极小点包括进来，但是这又会给下一步搜索极小点的过程增加负担。下面是确定 的一种比较合理而有效的方法。 第一次迭代（ ，即从 到 的迭代）时， 的初始步长可取为1，或根据问题中出现的数据的数量级估计选定。而以后各次迭代的初始步长可按公式（3.5）计算， （3.5） 其中 。这是因为从 到 的距离