最优化理论与算法第五章).docVIP

第五章 拟牛顿法 §5.1 拟牛顿法 牛顿法具有收敛速度快的优点，但需要计算Hesse矩阵的逆，计算量大。本章介绍的拟牛顿法将用较简单的方式得到Hesse矩阵或其逆的近似，一方面计算量不大，另一方面具有较快的收敛速度，这类算法是无约束最优化问题最重要的求解方法。 一、拟牛顿条件 设在上二次可微，为了获得Hesse矩阵在处的近似，先研究如下问题。考虑在附近的二次近似： . 两边求导，有 令，有 再令 ， 则有 或 . 因此，我们要求构造出的Hesse矩阵的近似或Hesse矩阵逆的近似应分别满足： 或 （5.1） 它们均称之为拟牛顿条件。 二、一般拟牛顿算法 给出初始点，，，. 若，停止；否则，计算（拟牛顿方向）. 沿方向进行线性搜索，（可以是精确，也可非精确）.令. 校正产生，使拟牛顿条件满足. ， 转2） 拟牛顿法较之牛顿法有下述优点： 仅需梯度（牛顿法需Hesse矩阵）； 保持正定，因而方向具有下降性质（而牛顿法中可能不定）； 每次迭代需次运算，而牛顿法需次运算。 注： 正如牛顿法中牛顿方向是在椭球范数下的最速下降方向一样，也可看成是在椭球范数下的最速下降方向，也就是在空间某