无约束最优化方法.pptVIP

第六十一页，共一百一十八页，2022年，8月28日 5.4 .2 DFP变尺度法 第六十二页，共一百一十八页，2022年，8月28日 第六十三页，共一百一十八页，2022年，8月28日 第六十四页，共一百一十八页，2022年，8月28日 5.4 .3 BFGS变尺度法与初始尺度矩阵的修正 第六十五页，共一百一十八页，2022年，8月28日 第六十六页，共一百一十八页，2022年，8月28日 5.4 .4变尺度法的计算步骤 第六十七页，共一百一十八页，2022年，8月28日 第六十八页，共一百一十八页，2022年，8月28日 第六十九页，共一百一十八页，2022年，8月28日 第七十页，共一百一十八页，2022年，8月28日 第七十一页，共一百一十八页，2022年，8月28日 第七十二页，共一百一十八页，2022年，8月28日 第七十三页，共一百一十八页，2022年，8月28日 使用MATLAB软件实现DFP算法 第七十四页，共一百一十八页，2022年，8月28日 例5-5 最优解搜索过程 第七十五页，共一百一十八页，2022年，8月28日 例5-5 三维图 第七十六页，共一百一十八页，2022年，8月28日 5.4 .5 变尺度法的性质与收敛性 第七十七页，共一百一十八页，2022年，8月28日 5.5步长加速法 解析法：最速下降法、共轭梯度法 、牛顿法 和变尺度法需要计算目标函数的梯度。 直接法：不需要求目标函数的梯度。 5.5.1步长加速法的基本思想 又称模式搜索法（Pattern Search Method）。 由胡克（Hooke）和基夫斯（Jeeves）于1961年提出的。 它不仅易于编制计算机程序，而且具有追循谷线加速移向最优点的性质。 基本思想从几何上讲，就是寻找具有较小函数值的“山谷”，力图使迭代产生的序列沿“山谷”逼近极小点。 第七十八页，共一百一十八页，2022年，8月28日 5.5.2步长加速法的搜索过程 步长加速法由“探测移动”和“模式搜索”两个交替的动作构成。 探测移动：依次沿n个坐标轴进行，用以确定新的基点和有利于函数值下降的方向。 模式搜索：沿相邻两个基点连线方向进行，试图顺着“山谷”使函数值下降的更快（见图5-4）。 第七十九页，共一百一十八页，2022年，8月28日 第八十页，共一百一十八页，2022年，8月28日 第八十一页，共一百一十八页，2022年，8月28日 5.5.3步长加速法的计算步骤 第八十二页，共一百一十八页，2022年，8月28日 第八十三页，共一百一十八页，2022年，8月28日 P(0)和p(1)正交吗？ 第二十九页，共一百一十八页，2022年，8月28日 （5-2） 第三十页，共一百一十八页，2022年，8月28日 5.2.2 正定二次函数的共轭梯度法 第三十一页，共一百一十八页，2022年，8月28日 第三十二页，共一百一十八页，2022年，8月28日 第三十三页，共一百一十八页，2022年，8月28日 第三十四页，共一百一十八页，2022年，8月28日 第三十五页，共一百一十八页，2022年，8月28日 第三十六页，共一百一十八页，2022年，8月28日 5.2.3 共轭梯度法的计算步骤 第三十七页，共一百一十八页，2022年，8月28日 5.2.4 非二次函数的共轭梯度法 第三十八页，共一百一十八页，2022年，8月28日 复习 第三十九页，共一百一十八页，2022年，8月28日 第四十页，共一百一十八页，2022年，8月28日 5.2.5 共轭梯度法的收敛性 第四十一页，共一百一十八页，2022年，8月28日 第四十二页，共一百一十八页，2022年，8月28日 第四十三页，共一百一十八页，2022年，8月28日 第四十四页，共一百一十八页，2022年，8月28日 第四十五页，共一百一十八页，2022年，8月28日 5.3牛顿法 对一维搜索方法中的牛顿法加以推广，就得到了求解无约束优化问题的牛顿法。 该方法具有收敛速度快的特点， 在牛顿法基础上的改进算法如阻尼牛顿法在实际中被广泛应用。 第四十六页，共一百一十八页，2022年，8月28日 5.3.1牛顿法原理 利用二次函数近似目标函数。 第四十七页，共一百一十八页，2022年，8月28日 第四十八页，共一百一十八页，2022年，8月28日 第四十九页，共一百一十八页，2022年，8月28日 第五十页，共一百一十八页，2022年，8月28日 第五十一页，共一百一十八页，2022年，8月28日 第五十二页，共一百一十八页，2022年，8月28日 第五十三页，共一百一十八页，2022年，8月28日 5.3.2牛顿法的特点与收敛性 牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数，仅需