07工程优化_第4章-3无约束最优化方法.ppt

DFP算法的计算步骤 步骤7. 令 计算 和 令 转步骤4. 置k=1, H1=In k=k+1 ||▽ f(xk+1)|| ε? Stop.x1—解 解 min f(xk+λpk) s.t. λ 0 得λ k ,令 xk+1=xk+λkpk k=n? x1=xn+1, g1= gn+1 利用DFP公式 求得 Hk+1 y N y N 重新开始 x1, ε 0 令 pk =- Hk gk || g1 || = ||▽f(x1) || ε? Stop.xk+1—解 y DFP算法框图： N ，已知初始点(2,1)T 例 用DFP算法求下列问题的极值 解：计算函数f 的梯度函数： 迭代精度 。 DFP算法的算例 1）第一次迭代： 在初始点x1处的梯度为： 取 精确一维搜索求最佳步长， 令 得 不满足精度，继续迭代： DFP算法的算例 2）第二次迭代： DFP算法的算例 令 DFP算法的算例 精确一维搜索求最佳步长， 令 得 得到最优解: DFP算法的算例 定理3： 设 f (x)存在连续一阶偏导数，且函数为凸函数，且水平 集 有界，则由DFP法得到的点列 有如下性质 (1) 为严格单调下降序列，且 存在； (2) 的任意极限点 都是 f (x)的最优解，且有 证明：参见P96定理4.15的证明。 DFP算法的收敛性分析 DFP算法具有二次收敛性。 优点： 对n元正定二次函数，当初始矩阵取单位矩阵时，由DFP算法产生的方向 是关于其Hesse矩阵 共轭的方向，因此，DFP算法最多n次就可得到正定二次函数的极小点，即DFP算法有二次收敛性。 DFP算法实质上是一种共轭方向法； (2) 若 f (x)是可微的严格凸函数，则DFP算法全局收敛； (3) 对非二次函数，DFP算法的效果也很好，它比最速下降法和共轭梯度法要有效的多，收敛速度是超线性的。 DFP算法的优缺点 缺点： DFP算法的计算量、存储量要比共轭梯度法大，因此，对大 规模的优化问题，用共轭梯度法更方便； 实际运算中，由于舍入误差的存在以及一维搜索的不精确， 算法的稳定性受到影响，从而使得DFP算法的效率受到很大 的影响，但BFGS算法受到的影响要小得多。 DFP算法的优缺点 BFGS算法 由前面的推导 ，我们知道 令 Bk+1满足 公式（1）称为另一种拟牛顿条件(或称拟牛顿方程)。 上面的公式（1）只需要交换 就可以得到前面的拟牛顿条件： 该公式称为关于矩阵Bk的BFGS修正公式，有时也称为DFP的对偶公式。 BFGS算法 因此只需要在Hk的递推公式 互换 ，并用Bk+1 , Bk 分别取代Hk+1 , Hk，就得到Bk的递推公式， 设Bk+1可逆，则由(1) 所以 满足拟牛顿条件 令 BFGS算法 可知 对（2）两边求导，求导方法见文（陈宝林）, 得到 -------BFGS公式 这个重要公式是由Broyden, Fletcher, Goldfard 和Shanno于1970年提出来的。 它可以象DFP公式一样使用，数值计算实例表明，它比DFP要好，目前得到广泛的应用。 BFGS算法有变尺度法的全部优点，并且在一定条件下可 以证明在BFGS法中使用不精确一维搜索时有全局收敛性。 BFGS算法 Broyden （布洛伊登 ）族变尺度法 将DFP公式记为 结合BFGS公式， 引入参数 ，有 Broyden族变尺度法 将(4)和(5)代入(6)，得到 其中 将(6)或者(7)给出的修正公式的全体称为Broyden族。 当 时，即为DFP公式；当 时，即为BFGS公式。 Broyden族变尺度法 由于DFP和BFGS公式都满足拟Newton方程，因此Broyden族的所有成员也满足拟Newton方程。