第三章无约束最优化方法技巧.ppt

§3.5.1 拟Newton法的基本思想 最速下降法和阻尼Newton法的迭代公式可以统一表示为 ，其中 为步长， ， 为n阶对称矩阵。 在上式中，若令 ，则是最速下降法；若令 ，就是 阻尼Newton法。前者具有较好的整体收敛性，但收敛速度太慢；后者 虽收敛性差，且需要计算二阶导数，计算量大。因此，如果能做到 的选取既能逐步逼近 ，又不需要计算二阶导数，那么由此算法就有 可能比最速下降法快，又比Newton法计算简单，且整体收敛性好。为 了使 确实能有上述特点，必须对 附加一些条件： C1： 是对称正定矩阵。 这是为使算法具有下降性质。显然，当 正定时， 从而 为下降方向。 C2： 由 经简单形式修正而得， 称为修正公式，其中 称为修正矩阵。 C3： 满足所谓的拟Newton方程（后面将推导此方程）。 §3.5.1 拟Newton法的基本思想 我们希望经过对任意初始矩阵 的逐步修正能得到 的一个好 的逼近。能做到这点的一个方法如下： 令 ， 由Taylor公式，有 当 非奇异时，有 对于二次函数，此式为等式。 因为目标函数在极小点附近的性态与二次函数近似，所以一个 合理的想法就是：如果使得 满足 此式称为拟Newton 方程。 那么 就可以较好地近似 。 显然，由于 有 个未知数，n个方程，所以一般有 无穷多个解，故由拟Newton方程确定的是一族算法，称之为拟 Newton法。事实上有些拟Newton法不具备C1，通常称具备条件 C1的拟Newton法为变尺度法。 §3.5.2 DFP算法 DFP算法是Davidon（1959）提出的，后来Fletcher 和Powell（1963）作了改进，形成了Davidon-Fletcher- Powell算法，简称DFP算法。它是第一个被提出的拟 Newton法，也是无约束最优化问题的最有效的算法之 一，已被广泛地采用。 如前所诉，拟Newton法首先要解决的问题是如何构 造据阵列 ，使其满足条件C1-C3。 考虑修正矩阵 ，其中u，v为n维待定向量。 由拟Newton方程有 ， 满足这个方程的待定向量u和v有无穷多种取法、一个明 显的取法是令 和 ，而 和 的值由 及 确定，利用 的对称性可导出公式 称此公式为DFP修正公式。 §3.5.2 DFP算法 DFP算法迭代步骤如下： （1）给定初始点 ，初始矩阵 （通常取单位阵） 计算 ，令k=0，给定控制误差 。 （2）令 。 （3）由精确一维搜索确定步长 ， （4）令 。 （5）若 ，则 停； 否则令 ， 。 （6）由DFP修正公式得 。令k=k+1，转步骤（2） §3.5.2 DFP算法 例 3.5.1 用DFP算法求解 ，取 解： （i）求迭代点 ，令 得 的极小点为 ，所以， 于是，由DFP修正公式有 下一个搜索方向为 （ii）求迭代点 ，令 其极小点为 ，于是 所以， ，因Hesse阵 为正定阵， 为严格凸函数，所以 为整体极小点。 还可以验证，再用一次DFP修正公式，则得 §3.5.2 DFP算法 由上述