高级运筹学无约束非线性规划.ppt

二、拟牛顿法（变尺度法） 修改牛顿法具有全局收敛性，但每步确定搜索方向时都要计算Hesse矩阵及其逆矩阵 1959年,Davidon提出设想仅用每次迭代中得到的梯度信息来近似Hesse矩阵，基于此导致了一类非常成功的拟牛顿法． 算法原理： 将确定搜索方向d (k)公式中的 ?2f(x (k) ) -1 用n阶矩阵Hk代替，从而在第k步迭代时， ?k由线搜索得到。初始点x (1)和初始矩阵H1是预先给定的，Hk在迭代中利用已得迭代点及目标函数值，最多再利用一阶导数按某种规则获得。 确定Hk的一种自然想法是，将Hk 作为?2f(x (k) ) -1 的近似来构造，注意到?2f(x (k) ) 是对称的，且有近似关系 即 则Hk 应满足条件 对称正定的； 满足拟牛顿方程 另外，设想Hk由Hk-1经过简单修正得到， Hk=Hk-1+Ek; 校正矩阵Ek应该对称，且满足 满足上式的对称矩阵有无穷多个，因此拟牛顿法是一族算法。DFP算法是其中最常用最有效的方法之一。 设校正矩阵的形式为 其中?k , ?k 为待定参数， Uk,Vk为待定向量，这种形式显然是对称的，把上式代入拟牛顿方程 不妨取 为使上式成立，简单的做法是取 DFP算法中的校正矩阵Ek和矩阵Hk的计算公式为： DFP算法的步骤 例4 用DFP算法求解 解：取H0=I ,DFP算法第一步与最速下降法相同