最优化理论_第4章_4_无约束优化_共轭梯度法-拟牛顿法摘要.pptVIP

拟牛顿法 牛顿法成功的关键在于利用了Hesse矩阵提供的曲率信息，而计算Hesse矩阵工作量大，并且有的目标函数的Hesse矩阵很难计算，甚至不好求出，这就导致仅利用目标函数一阶导数的方法。 什么是拟牛顿法 牛顿法的迭代公式为 记 则 上式称为拟牛顿条件(方程)，也称为割线方程. 怎样确定满足这个条件的H k+1 ? 对称秩1校正 ?Hk称为校正矩阵.确定?Hk的一个方法是令 (2) (3) 从而 (4) 利用(2),(4-5),(1)可写成 (5) (6) ---秩1校正公式 利用秩1校正极小化函数f(x),在第k次迭代中,令 搜索方向 (7) 确定后继点 DFP校正是第一个拟牛顿校正，是1959年由Davidon提出的，后来由Fletcher和Powell(1963)解释和发展的.BFGS校正是目前最流行的也是最有效的拟牛顿校正，它是由Broyden,Fletcher,Goldfarb和Schanno在1970年各自独立提出的拟牛顿法。 对称秩2校正 DFP(Davidon-Fletcher-Power)公式 DFP算法 例 用DFP方法求解下列问题 初始点及初始矩阵分别为 第1次迭代 令搜索方向 得到 令 第2次迭代 令 得到 令 于是得最优解 于是得最优解 第4章 无约束非线性规划 哈尔滨工程大学 理学院 戴运桃 Email: peach0040@126.com 共轭