第三章无约束最优化方法资料.pptVIP

§3.5.1 拟Newton法的基本思想 最速下降法和阻尼Newton法的迭代公式可以统一表示为 ，其中 为步长， ， 为n阶对称矩阵。 在上式中，若令 ，则是最速下降法；若令 ，就是 阻尼Newton法。前者具有较好的整体收敛性，但收敛速度太慢；后者 虽收敛性差，且需要计算二阶导数，计算量大。因此，如果能做到 的选取既能逐步逼近 ，又不需要计算二阶导数，那么由此算法就有 可能比最速下降法快，又比Newton法计算简单，且整体收敛性好。为 了使 确实能有上述特点，必须对 附加一些条件： C1： 是对称正定矩阵。 这是为使算法具有下降性质。显然，当 正定时， 从而 为下降方向。 C2： 由 经简单形式修正而得， 称为修正公式，其中 称为修正矩阵。 C3： 满足所谓的拟Newton方程（后面将推导此方程）。 §3.5.1 拟Newton法的基本思想 我们希望经过对任意初始矩阵 的逐步修正能得到 的一个好 的逼近。能做到这点的一个方法如下： 令