工程优化方法第四章讲述.ppt

该公式称为关于矩阵Bk的BFGS修正公式，有时也称为DFP的对偶公式。 BFGS算法 因此只需要在Hk的递推公式 互换 ，并用Bk+1 , Bk 分别取代Hk+1 , Hk，就得到Bk的递推公式， 设Bk+1可逆，则由(1) 所以 满足拟牛顿条件 令 BFGS算法 可知 对（2）两边求逆，求逆方法见文（陈宝林）, 得到 -------BFGS公式 这个重要公式是由Broyden, Fletcher, Goldfard 和Shanno于1970年提出来的。 它可以象DFP公式一样使用，数值计算实例表明，它比DFP要好，目前得到广泛的应用。 BFGS算法有变尺度法的全部优点，并且在一定条件下可 以证明在BFGS法中使用不精确一维搜索时有全局收敛性。 BFGS算法 Broyden （布洛伊登 ）族变尺度法 将DFP公式记为 结合BFGS公式， 引入参数 ，有 Broyden族变尺度法 将(4)和(5)代入(6)，得到 其中 将(6)或者(7)给出的修正公式的全体称为Broyden族。 当 时，即为DFP公式；当 时，即为BFGS公式。 Broyden族变尺度法 由于DFP和BFGS公式都满足拟Newton方程，因此Broyden族的所有成员也满足拟Newton方程。 Broyden族的任何一个成员都具有一般变尺度法的优点； DFP算法所具有的许多性质， Broyden算法也有。 在拟Newton法的每次迭代中，可用Broyden族的一个成员作为修正公式。 Broyden族只是给出一类拟Newton算法，这个族中包含一个参数。一些文献所介绍的Huang族包含三个参数， Broyden族是Huang族的一个子族。 作业 P99 4.1-4.5 4.9 4.10 4.12--4.14 4.17--4.19 4.23 第四章 无约束最优化方法 本章主要内容： §1 最速下降法 §2 牛顿法 §3 共轭方向法 §4 共轭梯度法 §5 变尺度法——DFP法和BFGS法 Newton法和阻尼Newton法具有收敛速度快的优点，但 需要计算Hesse矩阵的逆， 计算量大，存储量也很大。 变尺度法----一类特殊的拟Newton法 为减少计算量，用一个n阶对称正定矩阵Hk近似代替Hesse 矩阵的逆 ，即 ，从而搜索方 向是 ，由此搜索方向产生的方法称为变尺度法， Hk称为尺度矩阵，这是一种拟Newton法，被认为是无约束优 化问题中最有效的方法之一。 所谓拟Newton法是指由Newton法的思想出发产生的一类方法。 变尺度法----一类特殊的拟Newton法 变尺度法的计算步骤 步骤1. 任取初始点x1,初始尺度矩阵H1,令k=1. 步骤2. 计算 步骤3. 利用精确一维搜索找最佳步长 ，令 步骤4. 令 ，转步骤2。 其中 称为修正矩阵。 修正矩阵选取的不同，对应着不同的变尺度法。 x1, H1对称 ε0, k=1 dk=- Hk▽f(xk) 一维搜索得λk xk+1=xk+ λk dk ||xk+1-xk|| ε? 修正Hk产生Hk+1 Stop. xk+1----解 k=k+1 y N 变尺度法的算法框架 构造 Hk的原则 变尺度法的关键在于如何构造Hk，为了使算法有较快的收敛速 度，需要满足以下几个原则：拟牛顿性质，二次收敛性，稳定性。 拟牛顿性质 在 点处对函数 作二阶 Tayloy展开： 变尺度法----一类特殊的拟Newton法 略去高阶项 在xk+1 附近，函数两端求导，得 令 可得 记 Hesse矩阵 对称正定，又有 变尺度法----一类特殊的拟Newton法 称(3)或(4)为拟Newton方程 为了利用不包含二阶导数的矩阵Hk取代 Hk+1满足 构造 Hk的原