最优化方法：第5章 无约束最优化方法.pptVIP

请读者比较 步长加速法和旋转方向法的区别 5.7 方向加速(powell)法 5.7.1 方向加速法的基本思想 方向加速（Powell）法的基本思想：把整个搜索（计算）过程分为若干个阶段（轮），每个轮迭代由n+1次一维搜索组成。即在算法的每一轮中，先依次沿着n个已知的方向搜索，得到一个最好点，然后沿该轮的初始点与该最好点连线方向进行搜索，求得这一轮的最好点。再用最后的搜索方向取代前n个方向之一，进行下一轮的迭代。 Powell法的特点： 理论体系严密，本质是共轭方向法 在一定条件下具有二次终结性 5.7.2 基本powell法的计算步骤 5.7.3 powell法的二次终结性 5.7.4 改进的powell法 5.8 信赖域法 5.8.1 信赖域法的基本思想 无约束最优化问题的一般求解策略是，给定点后，定义搜索方向，再从出发沿作一维搜索，得到新的点。 信赖域方法另辟蹊径，其基本思想：给定点后，确定一个变化范围，通常取以为中心的球域（称为信赖域），在此域内优化目标函数的二次逼近式，按一定的模式求出后继点。如果不满足精度要求，再定义以为中心的信赖域，并在此域内优化新的二次逼近式，直到满足精度要求为止。 信赖域方法是Powell于1970年提出来的，是一种新的能保证全局收敛的算法。该方法不仅不需要进行线性搜索，而且也不必关心目标函数的Hesse阵的正定性。 5.8.2 信赖域法的计算步骤 5.9最小二乘法 5.9.1线性最小二乘问题 5.9.2 非线性最小二乘问题 5.9.3 非线性最小二乘问题的阻尼Causs-Newton法计算步骤 5.4 .2 DFP变尺度法 5.4 .3 BFGS变尺度法与初始尺度矩阵的修正 5.4 .4变尺度法的计算步骤 使用MATLAB软件实现DFP算法 例5-5 最优解搜索过程 例5-5 三维图 5.4 .5 变尺度法的性质与收敛性 5.5步长加速法 解析法：最速下降法、共轭梯度法 、牛顿法 和变尺度法需要计算目标函数的梯度。 直接法：不需要求目标函数的梯度。 5.5.1步长加速法的基本思想 又称模式搜索法（Pattern Search Method）。 由胡克（Hooke）和基夫斯（Jeeves）于1961年提出的。 它不仅易于编制计算机程序，而且具有追循谷线加速移向最优点的性质。 基本思想从几何上讲，就是寻找具有较小函数值的“山谷”，力图使迭代产生的序列沿“山谷”逼近极小点。 5.5.2步长加速法的搜索过程 步长加速法由“探测移动”和“模式搜索”两个交替的动作构成。 探测移动：依次沿n个坐标轴进行，用以确定新的基点和有利于函数值下降的方向。 模式搜索：沿相邻两个基点连线方向进行，试图顺着“山谷”使函数值下降的更快（见图5-4）。 5.5.3步长加速法的计算步骤 5.6旋转方向法 5.6.1旋转方向法的基本思想 5.6.2旋转方向法的搜索过程 5.6.3旋转方向法的计算步骤 （5-2） 5.2.2 正定二次函数的共轭梯度法 5.2.3 共轭梯度法的计算步骤 5.2.4 非二次函数的共轭梯度法 复习 5.2.5 共轭梯度法的收敛性 5.3牛顿法 对一维搜索方法中的牛顿法加以推广，就得到了求解无约束优化问题的牛顿法。 该方法具有收敛速度快的特点， 在牛顿法基础上的改进算法如阻尼牛顿法在实际中被广泛应用。 5.3.1牛顿法原理 利用二次函数近似目标函数。 5.3.2牛顿法的特点与收敛性 牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数，仅需一步迭代即可达到最优解，具有二次终结性。 牛顿法缺点： （1）牛顿法是局部收敛的，即初始点选择不当，可能会导致不收敛； （2）牛顿法不是下降算法，当二阶Hesse阵非正定时，不能保证是下降方向； （3）二阶Hesse阵必须可逆，否则算法将无法进行下去； （4）对函数分析性质要求苛刻，计算量大，仅适合小规模优化问题。 由于牛顿法有良好收敛速度，人们对它的缺点进行了多方面改进和修正。 5.3.3 牛顿法的改进 1. 阻尼（广义）牛顿法 2.Goldstein-Price方法 5.4 变尺度法 5.4 .1 变尺度法原理 第5章 无约束最优化方法 主要内容 5.1最速下降法 5.2共轭梯度法 5.3牛顿法 5.4变尺度法 5.5步长加速法 5.6旋转方向法 5.7方向加速法 5.8信赖域方法 5.9最小二乘法 第五章 无约束优化方法 无约束优化理论发展较早，比较成熟，方法也很多，新的方法还在陆续出现．把这些方法归纳起来可以分成两大类：一类是仅用计算函数值所得到的信息来确定搜索方向，通常称它为直接搜