第07章无约束问题概论.ppt

和共梯度法相类似，如果迭代n次仍不收敛，则以X n 为新的X 0 ，以这时的X 0 为起点重新开始一轮新的迭代。 上述方法先由戴维顿 Davidon 提出，后经弗莱彻 Fletcher 和鲍威尔 Powell 加以改进，故称DFP法，或DFP变尺度法。 例9 试用DFP法重新计算例8. 解 和例8一样，仍从X 0 -2,4 T开始，并取 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 7-81 ?f X [ 3x1-x2-2 , x2-x1 ]T ?f X 0 -12,6 T 利用一维搜索，即 ，可算得 ?0 5/17 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 再由一维搜索 ，得 ?1 29/17 从而 ?f X 2 0,0 T 可知X 2 1,1 T为极小点。 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 在以上讨论中，我们取第一个尺度矩阵H 0 为对称正定阵，以后的凡度矩阵由式 7-81 逐步形成。可以证明，这样构成的尺度矩阵均为对称正定阵。由此可知其搜索方向P k -H k ?f X k 为下降方向，这就可以保证每次迭代均能使目标函数值有所改善。 当把DFP变尺度法用于正定二次函数时，产生的搜索方向为共轭方向，因而也具有有限步收敛的性质。若将初始尺度矩阵也取为单位矩阵，对这种函数来说，DFP法就与共轭梯度法一样了。 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 还要指出，可以采用不同的方法来构造尺度矩阵H k ，从而就有不同的变尺度法。DFP法属于拟牛顿法的一种。开始时取H 0 I，这相当于第一步采用最速度下降法，以后的H k 接近于H X k -1，当达到极小点时，从理论上讲，这时的尺度矩阵应等于该点处海赛的逆阵。 例10 试用DFP法求 minf X 4 x1-5 2+ x2-6 2 解 取 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 由于 ?f X [8 x1-5 ,2 x2-6 ]T ?f X 0 24,6 T 故 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 f X 1 4[ 8-24?0 -5]2+[ 9-6 ?0 -6]2 令 可得 ?0 17/130 X 1 [ 8-24?0 , 9-6?0 ]T 4.862,8.215 T ?X 0 X 1 -X 0 -3.138,-0.785 T f X 1 4.985 ?f X 1 -1.108,4.431 T ?G 0 ?f X 1 -?f X 0 -25.108,-1.569 T 由此可得 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 故 如上求最佳步长 ?1 0.4942 代入上式得 X 1 5,6 T 这就是极小点。 若将该问题的目标函数f X 表示成式 7-50 的形式，可知 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 而 现计算出该问题的 可知二者实际相等。 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 在以上几节中，我们介绍了求解无约束极值问题的解析法以，这些方法只是众多算法中的一部分。一般认为，从迭代次数上考虑，变尺度法所需迭代次数较少，共轭梯度法次之，最速度下降法 一阶梯度法 所需迭代次数最多。但从每次迭代所需的计算工作量来看，却正好相反，最速下降法最简单，变尺度法比它们都繁。 * * 7.3 无约束极值问题的解法 7.3.3 变尺度法 步长加速法亦称模式法或模矢法 Pattern Search ，由胡克 Hooke 和基夫斯 Jeeves 于1961年提出，是一种直接法。它易于编制计算机程序，且具有追寻谷线 脊线 加速移向最优点的性质。 1. 基本原理 假定欲求某实值函数f X 的极小点，为此，任选一基点B1 初始近似点 ，算出此点的目标函数值。然后沿第i个坐标方向以某一步长?i进行探索，即在B1+?i和B1-?i这两点中寻求能使目标函数值下降的点，并把它作为临时矢点；再由此点出发沿另一坐标方向进行同样的搜索， * * 7.3 无约束极值问题的解法 7.3.4 变长加速法 ，如能得到比以前更好的点，就以该点代替前面的点作为新的临时矢点。如此沿各个价值方向轮流探查一遍，并选这一轮探索得到的最好的点 最后的临时矢点 为第二个基点B2。由第一个基点B1到第二个基点B