最优化理论与算法(五).docVIP

第五章 拟牛顿法 §5.1 拟牛顿法 牛顿法具有收敛速度快的优点，但需要计算Hesse矩阵的逆，计算量大。本章介绍的拟牛顿法将用较简单的方式得到Hesse矩阵或其逆的近似，一方面计算量不大，另一方面具有较快的收敛速度，这类算法是无约束最优化问题最重要的求解方法。 一、拟牛顿条件 设在上二次可微，为了获得Hesse矩阵在处的近似，先研究如下问题。考虑在附近的二次近似： . 两边求导，有 令，有 再令 ， 则有 或 . 因此，我们要求构造出的Hesse矩阵的近似或Hesse矩阵逆的近似应分别满足： 或 （5.1） 它们均称之为拟牛顿条件。 二、一般拟牛顿算法 给出初始点，，，. 若，停止；否则，计算（拟牛顿方向）. 沿方向进行线性搜索，（可以是精确，也可非精确）.令. 校正产生，使拟牛顿条件满足. ， 转2） 拟牛顿法较之牛顿法有下述优点： 仅需梯度（牛顿法需Hesse矩阵）； 保持正定，因而方向具有下降性质（而牛顿法中可能不定）； 每次迭代需次运算，而牛顿法需次运算。 注： 正如牛顿法中牛顿方向是在椭球范数下的最速下降方向一样，也可看成是在椭球范数下的最速下降方向，也就是在空间某种特定度量（尺度）意义下的最速下降方向。由于每次迭代都在变化，因而度量（尺度）也在变化。正因为如此，常称拟牛顿算法为变尺度法。从这个意义上讲，牛顿法本身也是变尺度法。 三、对称秩一校正公式（SRI校正） 设是第次迭代的Hesse逆的近似，希望对校正得到，即 若设是一个秩一矩阵，则 . （5.2） 由拟牛顿条件： 得 （取，使） （5.3） 将（5.3）代入（5.2）得 （5.4） 称之为一般Broyden秩一校正公式 特别地，取时，称为Broyden秩一校正公式。 一般地，上述不对称，由于Hesse矩阵是对称的，故希望也对称，因而取 从而得 （5.5） 称之为对称秩一校正。对称秩一校正法在用于正定二次函数时，不需要进行一维搜索，具有有限终止性质。 定理5.1 设线性无关，那么对于正定二次函数，对称秩一校正方法至多步终止，即。 证明：首先用归纳法证明拟牛顿条件的遗传性质，即 。 当时，直接由（5.5）可知结论成立。若假定结论对成立，现考虑情形，此时 1）当时，由归纳法假设，有 故当时， 。 2）当时，直接由（5.5）可得。 再根据以上所得遗传性质，有 ，（） 由线性无关，故有，即。 注：1）证明中对除了要求线性无关外，没有其他条件，因而简单取也是可以的。这样完全不用一维搜索，并且由，得到最优解。 2）SRI校正的缺点是不能保证的正定性，除非始终保持。当用于一般函数时，由算出的搜索方向不能保证是下降方向，这在一定程度上妨碍了它的应用。 四、DFP校正 考虑对称秩二校正 由 得 取 ， 即有 ， ， 得校正公式： （5.6） 称之为DFP公式（由Davidon,Fletcher,Powell提出）。DFP公式是最重要的拟牛顿校正公式，有很多重要性质。 对于正定二次函数（若采用精确一维搜索） 具有有限终止性； 拟牛顿条件具有遗传性质； 当时，产生共轭方向和共轭梯度。 对于一般函数 4）校正保持正定性，因而算法具有下降性质； 5）方法具有超线性收敛速度； 6）当采用精确一维搜索时，对于凸函数，算法具有总体收敛性。 定理5.2 当且仅当时，DFP校正公式保持正定性。 证明：用归纳法。由初始选择，显然正定。设结论对成立，即正定，并记的Cholesky分解为。下面考虑时的情形，设 则 由Cauchy不等式知： （*） 又由题设，故有 由于，而（*）中等式成立当且仅当与平行，亦即当且仅当与平行。而当与平行时，便有。此时 因而，对任何，均有，定理于是证毕。 注：上面定理中，条件是可以满足的。事实上， 由 ， 有