DFP算法.ppt

拟牛顿法 前面介绍的牛顿法，它的突出优点是收敛很 快。但是，运用牛顿法每次迭代都要计算目标函 数的Hesse矩阵和它的逆矩阵，当问题的维数较 大时，计算量迅速增加。 为了克服此缺点，人们提出了拟牛顿法。它 的基本思想是用不包含二阶导数的矩阵近似牛顿 法中的Hesse矩阵的逆矩阵。下面分析怎样构造 近似矩阵并用它取代牛顿法中的Hesse矩阵的逆 矩阵。 1.基本原理 在Newton法中，由基本迭代公式： 其中 ， 令 于是有 （1） 其中 是初始点， 和 分别是目标函数 在 梯度和 矩阵，为了消除这个迭代公式中的 逆矩阵 可用某种近似矩阵 来代替它， 即构造一个矩阵序列 去逼近Hesse逆矩阵序列 ，此时(1)式为 　 第二，要求 之间的迭代具有简单形式．显然， 　 （3） 　 是最简单的形式了．其中 称为校正矩阵，式（3）称为 校正公式． 　 第三， 必须满足拟Newton条件．所谓拟Newton 条件由下面的推导给出． 　 设迭代过程已进行到 步， 和 均已求出，现 在推导 所必须满足的条件．设目标函数 具有连续 的二阶偏导数．现在将 在 处展成二阶泰勒公式 　　 以下几段将要讨论各种公式的构成以及相应算法． 　 但是不论哪个公式都必须满足拟Newton条件， 必须满足 　或 　 （6） 　由此可见， 与 ， 和 有关． 　 满足式（6）的 有无穷多个，因此上述拟 Newton算法构成一族算法．下面常用的公式． 　现在来确定 ． 　 根据拟Newton条件， 必须满足（6），于是有 　 　 满足这个方程的待定向量 和 有无穷多种取法，下面是 其中的一种： 　注意到 和 都是数量，不妨取 　同时得出 　将这两式代回（6）得 　 （7） 　这就是DFP校正公式． 　 例 用DFP算法求 ， ． 　 解： 当 我们取时，DFP法与最速下降法具有相同的 第一次迭代点， 　 以下用DFP法作第二次迭代 按DFP算法中的第（6）步计算 课后习题 1. * * * 单击此处编辑母版文本样式 第二级 第三级 第四级 第五级 事实上，式中 无非是确定了第 次迭代 的搜索方向．为了取得更大的灵活性，我