最优化方法第五次.pptVIP

第五次自学、讨论的内容 1. 什么是拟Newton条件。 2. 变尺度法(拟Newton)法的基本思想。 3. 如何确定拟Newton条件？ 4. DFP算法的计算步骤。 5. BFGS算法的计算步骤。 二、变尺度法（拟牛顿法） 牛顿法主要缺点是要计算Hesse矩阵及其逆。一个很自然的想法是不直接计算Hesse矩阵 ，也不计算其逆矩阵 ，而设法构造另一个矩阵来直接逼近 ，这一类算法称为变尺度法或拟牛顿法，其中以DFP算法和BFGS算法最为著名。在所有无约束最优化方法中,若综合考察收敛速度、计算量、适用范围等算法性能，变尺度法是最出色的。 变尺度法的基本思想是在 处，按某种规则产生一对称正定矩阵 ，用 作为 处的搜索方向。显然，取 ，分别为最速下降方向和牛顿方向。 1. 拟Newton条件 由Taylor展式 ，得 ，