最优化计算方法(工程优化)第4章答题.ppt

在双折线情形下： 其中 一般取 例1： 设 在当前点 试用双折线法求 解： 由于 计算 有： 由于 故取双折线步长为： 使得 解二次方程 得 因此 所以 [s,val,posdef,count,lambda] = TRUST(g(x),B,d) ; TRUST是matlab自带的求解信赖域子问题的函数，利用它信赖域方法的程序就简单多了。 * * * * BFGS算法 由前面的推导 ，我们知道 令 Bk+1满足 公式(1)称为另一种拟牛顿条件(或称拟牛顿方程)。 上面的公式(1)只需要交换 就可以得到前面的拟牛顿条件： 该公式称为关于矩阵Bk的BFGS修正公式，有时也称为DFP的对偶公式。 BFGS算法 因此只需要在Hk的递推公式 互换 ，并用Bk+1 , Bk 分别取代Hk+1 , Hk，就得到Bk的递推公式， 设Bk+1可逆，则由(1) 所以 满足拟牛顿条件 令 BFGS算法 可知 对（2）两边求导，求导方法见文（陈宝林）, 得到 -------BFGS公式 这个重要公式是由Broyden, Fletcher, Goldfard 和Shanno于1970年提出来的。 它可以象DFP公式一样使用，数值计算实例表明，它比DFP要好，目前得到广泛的应用。 BFGS算法有变尺度法的全部优点，并且在一定条件下可 以证明在BFGS法中使用不精确一维搜索时有全局收敛性。 BFGS算法 Broyden （布洛伊登 ）族变尺度法 将DFP公式记为 结合BFGS公式， 引入参数 ，有 Broyden族变尺度法 将(4)和(5)代入(6)，得到 其中 将(6)或者(7)给出的修正公式的全体称为Broyden族。 当 时，即为DFP公式；当 时，即为BFGS公式。 Broyden族变尺度法 由于DFP和BFGS公式都满足拟Newton方程，因此Broyden族的所有成员也满足拟Newton方程。 Broyden族的任何一个成员都具有一般变尺度法的优点； DFP算法所具有的许多性质， Broyden算法也有。 在拟Newton法的每次迭代中，可用Broyden族的一个成员作为修正公式。 Broyden族只是给出一类拟Newton算法，这个族中包含一个参数。一些文献所介绍的Huang族包含三个参数， Broyden族是Huang族的一个子族。 作业 P99 4.1-4.5 4.9 4.10 4.12--4.14 4.17--4.19 4.23 信赖域方法 信赖域方法是求解最优化问题的另一类有效方法。 其最初的设计思想可追溯至Levenberg和Marquart对Gauss- Newton法的修正。 线搜索方法是把一个复杂的最优化问题转化成一系列简单的一维寻优问题。 信赖域方法是把最优化问题转化为一系列相对简单的局部寻优问题。 基本思想 牛顿法的基本思想是在迭代点 附近用二次 函数逼近 并以 的 的极小点 修正 得到： 以上方法只能保证算法的局部收敛性， 为了建立全局收敛性 算法， 阻尼Newton法采用精确一维搜索技术。 虽然这种策略是成功的，但它没有进一步利用二次模型。 信赖域方法是另一种新的保证算法全局收敛的方法。 在每次迭代中给出一个信赖域，这个信赖域一般是当前迭代点 的一个小邻域。 然后在这个邻域内求解一个子问题，得到 ， 接着用某一评价函数来决定是否接受该 以及确定下一次迭代的信赖域。 如果试探步长被接受，则 否则， 新的信赖域的大小取决于试探步的好坏， 粗略地说，如果试探步较好，下一步 试探步长 否则 信赖域扩大或保持不变， 减小信赖域。 信赖域扩大或不变， 信赖域变小。 信赖域方法的模型子问题 其中 是Hesse阵 的近似 为信赖域半径． 注： (1) 这种方法既具有牛顿法的快速局部收敛性，又具有 理想的全局收敛性。 (2) 不要求目标函数的Hesse阵是正定的。 (3) 利用了二次模型来求修正步长， 使得目标函数的下降比 线