优化设计第4次课.pptVIP

无约束问题下降算法的基本迭代格式 下降算法的迭代过程 在求解多变量无约束极值问题 时，一般不去解式（4-2），而是直 接从原问题式（4-1）中的特征出发， 构成一种使用目标函数值步步减小 的下降迭代算法。 这一算法的基本思想是沿着目标 函数值降低的方向，一步步向前搜索，最终找到最优解。迭代 过程如上图所示。 下降算法步骤归纳如下 1. 选定一个初始点 ，置 。 2. 确定适当的使目标函数值下降的搜索方向 ，应满足 （4-3） 即： （4-4） 上式的几何意思: 表示点 的下降方向 应取过 点 与目标函数的梯度方向成钝角的范围内，或者说，与目标函数 负梯度方向锐角的范围内。这是各种下降算法中确定搜索方向 的一个总的原则。如图4-2 所示. 图4-2搜索方与梯度方向间的关系 3. 确定步长因子 ，使得 （4-5） 4. 按下面的迭代公式，确定下一 个迭代点 ，即 （4-6） 式（4-6）是迭代算法运算的基 本公式。 5. 判断 是否满足迭代终止准则，是否为一个近似的极 值点。 下图是按照上面的迭代公式对约束优化问题进行极小化计算的程序框图，其中关键的两个步骤是确定搜索方向 和确定最佳步长 。显然，每迭代一步就应确定相应的搜索方向 和步长因子 。 无约束优化方法中各种不同算法的实质性区别就在于构造搜索方向和选择步长因子的不同。但是人们总希望研究出这样一种算法，在求解无约束问题过程中，以最少的迭代步数、最小的计算量，最快的速度找到最优点。 无约束优化方法分类 一类是利用目标函数的一阶或二阶导数信息的无约束优化方法，如最速下降法、牛顿法、共扼梯度法及变尺度法等。 另一类是只利用目标函数值信息的无约束优化方法，加坐标轮换法、鲍咸尔法(Powell)及单纯形法等。 第一类方法由于考虑了函数的变化率，因而收敛速度较快，但计算量一般较大；第二类方法能够避免在迭代过程中求解海色矩阵，进而可有效地减小计算量。 根据确定搜索方向 所使用信息性质的不同，无约束优化方法可以分为两类： 第二节 最速下降法 最速下降法是求解无约束多元函数极值问题的古老算法之一，早在1847年就已由柯西提出。该方法形式直观、原理简单，是其他更为实用有效的无约束和约束优化方法的理论基础，因此，最速下降法是无约束优化方法中最基本的方法之一。 一、最速下降法的基本原理 设 维目标函数 ，从迭代点 出发，沿着按某种 方向所确定的方向 ，搜索极小点 ，其迭代算法如下 取搜索方向 为负梯度方向，该方向的单位向量可表示为： 其中， 是 点梯度的模。 于是就形成了下面的迭代算法： （4-7） 式中， 为最优步长因子，即在负梯度方向上，函数值达到最小的步长因子，可以按照一元函数极值的必要条件求得，也可以用一维搜索的0.618法或二次插值法直接迭代求出 。 最速下降法是以负梯度方向作为搜索方向，所以最速下降法又称为梯度法。 根据一元函数极值的必要条件和多元复合运数求导公式，得 即 也可写成 为了使目标函数值沿搜索方向 能获得最大的下降值，其步长因子 应取一维搜索的最佳步长，即有 由此可知，在最速下降法中，相邻两个迭代点上的函数梯度相互正交，而搜索方向就是负梯度方向，因此相邻两个搜索方向互相正交。下图为二维目标函数采用最速下降法的搜索过程示意图。 二、最速下降法的计算步骤 (1)取初始点 ，收敛精度为 ，并令 ； (2)计算点 的梯度 ，以及搜索方向 (4)进行一维搜索，求最佳步长 ，即 (3)检验是否满足收敛性判断准则 。若满足则停止迭代，得到点 及函数值 ，否则进行下一步计算； (5)令 ， ，转步骤(2)。 最速下降法算法流程图 三、最速下降法的特点 (1)最速下降法理论明确、方