无约束最优化方法.pptVIP

第61页，共118页，编辑于2022年，星期六 5.4 .2 DFP变尺度法 第62页，共118页，编辑于2022年，星期六 第63页，共118页，编辑于2022年，星期六 第64页，共118页，编辑于2022年，星期六 5.4 .3 BFGS变尺度法与初始尺度矩阵的修正 第65页，共118页，编辑于2022年，星期六 第66页，共118页，编辑于2022年，星期六 5.4 .4变尺度法的计算步骤 第67页，共118页，编辑于2022年，星期六 第68页，共118页，编辑于2022年，星期六 第69页，共118页，编辑于2022年，星期六 第70页，共118页，编辑于2022年，星期六 第71页，共118页，编辑于2022年，星期六 第72页，共118页，编辑于2022年，星期六 第73页，共118页，编辑于2022年，星期六 使用MATLAB软件实现DFP算法 第74页，共118页，编辑于2022年，星期六 例5-5 最优解搜索过程 第75页，共118页，编辑于2022年，星期六 例5-5 三维图 第76页，共118页，编辑于2022年，星期六 5.4 .5 变尺度法的性质与收敛性 第77页，共118页，编辑于2022年，星期六 5.5步长加速法 解析法：最速下降法、共轭梯度法 、牛顿法 和变尺度法需要计算目标函数的梯度。 直接法：不需要求目标函数的梯度。 5.5.1步长加速法的基本思想 又称模式搜索法（Pattern Search Method）。 由胡克（Hooke）和基夫斯（Jeeves）于1961年提出的。 它不仅易于编制计算机程序，而且具有追循谷线加速移向最优点的性质。 基本思想从几何上讲，就是寻找具有较小函数值的“山谷”，力图使迭代产生的序列沿“山谷”逼近极小点。 第78页，共118页，编辑于2022年，星期六 5.5.2步长加速法的搜索过程 步长加速法由“探测移动”和“模式搜索”两个交替的动作构成。 探测移动：依次沿n个坐标轴进行，用以确定新的基点和有利于函数值下降的方向。 模式搜索：沿相邻两个基点连线方向进行，试图顺着“山谷”使函数值下降的更快（见图5-4）。 第79页，共118页，编辑于2022年，星期六 第80页，共118页，编辑于2022年，星期六 第81页，共118页，编辑于2022年，星期六 5.5.3步长加速法的计算步骤 第82页，共118页，编辑于2022年，星期六 第83页，共118页，编辑于2022年，星期六 P(0)和p(1)正交吗？ 第29页，共118页，编辑于2022年，星期六 （5-2） 第30页，共118页，编辑于2022年，星期六 5.2.2 正定二次函数的共轭梯度法 第31页，共118页，编辑于2022年，星期六 第32页，共118页，编辑于2022年，星期六 第33页，共118页，编辑于2022年，星期六 第34页，共118页，编辑于2022年，星期六 第35页，共118页，编辑于2022年，星期六 第36页，共118页，编辑于2022年，星期六 5.2.3 共轭梯度法的计算步骤 第37页，共118页，编辑于2022年，星期六 5.2.4 非二次函数的共轭梯度法 第38页，共118页，编辑于2022年，星期六 复习 第39页，共118页，编辑于2022年，星期六 第40页，共118页，编辑于2022年，星期六 5.2.5 共轭梯度法的收敛性 第41页，共118页，编辑于2022年，星期六 第42页，共118页，编辑于2022年，星期六 第43页，共118页，编辑于2022年，星期六 第44页，共118页，编辑于2022年，星期六 第45页，共118页，编辑于2022年，星期六 5.3牛顿法 对一维搜索方法中的牛顿法加以推广，就得到了求解无约束优化问题的牛顿法。 该方法具有收敛速度快的特点， 在牛顿法基础上的改进算法如阻尼牛顿法在实际中被广泛应用。 第46页，共118页，编辑于2022年，星期六 5.3.1牛顿法原理 利用二次函数近似目标函数。 第47页，共118页，编辑于2022年，星期六 第48页，共118页，编辑于2022年，星期六 第49页，共118页，编辑于2022年，星期六 第50页，共118页，编辑于2022年，星期六 第51页，共118页，编辑于2022年，星期六 第52页，共118页，编辑于2022年，星期六 第53页，共118页，编辑于2022年，星期六 5.3.2牛顿法的特点与收敛性 牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数，仅需一步迭代即可达到最优解，具有二次终结性。 牛顿法缺点： （1）牛顿法是局部收敛的，即初始点选择不当，可能会导致不收敛； （2）牛顿法不是下降算法，当二阶Hesse阵非正定时，不能保证