4-非线性规划.pptVIP

一类是使用导数的方法，也就是根据目标函数的梯度（一阶导数）有时还要根据Hesse矩阵（即二阶导数）所提供的信息而构造出来的方法，就称为梯度方法。如：最速下降法，Newton法，共扼梯度法和变尺度法。另一类是不使用导数的方法，统称为直接方法。 前者收敛速度快，但计算复杂（一阶，二阶导数）后者不用导数，适应性强，但收敛速度慢。因此再可以求得目标函数导数信息时，尽可能用另一方法，而若求目标函数导数很困难，或者根本不存在导数时，就用后一种方法. 例：求下列函数的梯度： ① Hesse矩阵 例：求目标函数f（X）= 的梯度和Hesse矩阵。 解：因为 则 又因为： 故Hesse阵为： 1 选定初始点 ，并给定精度 ，令 首先考虑二次函数的无约束极小问题 1 定义：设 为n阶正定阵，若n维方向 满足 1共轭梯度法思想： 将共轭性与最速下降方法结合，利用已知点处的梯度构造一组共轭方向，并沿此组方向进行搜索，求出极小点。 适用范围：凸函数 用FR共轭梯度法求解 1 选定初始点 ，并给定精度 ，令 （三）Newton法的缺点 Newton法和阻尼Newton法有共同缺点： 一、可能出现Hesse矩阵奇异的情形，因此不能确定后继点； 二、即使Hesse矩阵非奇异，也未必正定，因而New他on方向不一定是下降向，这就可能导致算法失效． 由于阻尼Newton法含有较搜索，因此，每次迭代目标函数值一般有所下降(决不会上升)．可以证明，阻尼Newton法在适当条件下具有全局收敛件，且为二阶收敛． 例 解： 二、拟牛顿法 为了克服牛顿法的缺点，提出了用不包含二阶导数的 矩阵 替代 DPF法 构造Hesse逆矩阵的最早的，最巧妙的一种格式，由 Davidon提出的，后来由Fletcher和Powell作了改进，称为DPF法，又称变尺度法 公式： 迭代步骤： 1 给定 2 令 4 若 则停止 为近似最优解。否则 3 计算 5 转6 6 若 则令 返回2，否则转7 7 由公式计算 返回3 例：用DPF法求解问题 解： 同理求出最佳步长 为极小值点 §3 模式搜索法（步长加速法） 模式搜索法是由Hooke和Jeeves 1961年提出的，因此又称为Hooke—Jeeves方法．其基本思想，从几何上讲，是寻找具有较小函数值的“山谷”，力图使迭代产生的序列沿“山谷”逼近极小点．算法从初始基点开始，包括两种类型的移动，这就是探测移动（exploratogy move)和模式移动(panern move)．探测移动依次沿n个坐标轴进行，用以确定新的基点和有利于函数值F降的方向．模式移动沿相邻两个基点连线方向进行，试图顺着“山谷”使函数值更快减少．两种移动交替进行． * * 无约束最优化可以分为两大类： 无约束极值问题 预备知识： （1）梯度及Hesse 矩阵 梯度 几个常用的梯度公式： 解： ② 解： 在高等数学中我们已经证明过当f（X）的所有二阶偏导 数连续时，有 i, j=1，2……n 因此在这种情况下，Hesse矩阵是对称的。 一 最速下降法 最速下降法是求多元函数极值的最古老的数值算法，它直观，简单，计算方便，而且后来的一些新的有效的方法大多数是对它的改进，或受它的启发而得到的。其缺点是收敛速度较慢。 （一）算法思想： 假定我们已经迭代到第 K次，已有 从 出发进一步迭代。 §1 最速下降法和共轭梯度法 显然应沿下降方向进 行 ，而下降最快的方向是 为了使目标函数沿此方向下降的最多，　　沿此方向进行直线搜索，从而得到第k+1次迭代点 　　即 其中步长因子 　　满足 （二） 算法步骤 2 若 ，则停止， 否则令 3 由 求出最佳步长 。 4 令