优化设计第四次课.ppt

求目标函数的极值时，若对设计变量没有任何限制，可在 实欧氏空间中任意取值,则称为无约束问题。它的一般形式为 求 使 (4-1) 式中 ， 为 维设计变量， 为目标函数. 求解式（4-1）可以利用第2章所讲的无约束极值条件 存在的必要条件，即 （4-2） 解上式所确定的方程组，求得驻点后，再根据充分条件 来判断是否为极小点。 解上述方程组，求得驻点后，再根据极值点所需满足的充分条件(海色矩阵正定)来判定是否为极小值点。但上式是一个含有n个未知量，n个方程的方程组，并且在实际中一般是非线性的。对于非线性方程组的求解，一般是很难用解析法求解的，需要采用数值计算方法逐步求出非线性联立方程组的解。但是，与其用数值计算方法求解非线性方程组，倒不如用数值计算方法直接求解无约束极值问题，因此，本章将介绍求解无约束优化问题常用的数值解法。 无约束问题下降算法的基本迭代格式 下降算法的迭代过程 在求解多变量无约束极值问题 时，一般不去解式（4-2），而是直 接从原问题式（4-1）中的特征出发， 构成一种使用目标函数值步步减小 的下降迭代算法。 这一算法的基本思想是沿着目标 函数值降低的方向，一步步向前搜索，最终找到最优解。迭代 过程如上图所示。 下降算法步骤归纳如下 1. 选定一个初始点 ，置 。 2. 确定适当的使目标函数值下降的搜索方向 ，应满足 （4-3） 即： （4-4） 上式的几何意思: 表示点 的下降方向 应取过 点 与目标函数的梯度方向成钝角的范围内，或者说，与目标函数 负梯度方向锐角的范围内。这是各种下降算法中确定搜索方向 的一个总的原则。如图4-2 所示. 图4-2搜索方与梯度方向间的关系 3. 确定步长因子 ，使得 （4-5） 4. 按下面的迭代公式，确定下一 个迭代点 ，即 （4-6） 式（4-6）是迭代算法运算的基 本公式。 5. 判断 是否满足迭代终止准则，是否为一个近似的极 值点。 下图是按照上面的迭代公式对约束优化问题进行极小化计算的程序框图，其中关键的两个步骤是确定搜索方向 和确定最佳步长 。显然，每迭代一步就应确定相应的搜索方向 和步长因子 。 无约束优化方法中各种不同算法的实质性区别就在于构造搜索方向和选择步长因子的不同。但是人们总希望研究出这样一种算法，在求解无约束问题过程中，以最少的迭代步数、最小的计算量，最快的速度找到最优点。 无约束优化方法分类 一类是利用目标函数的一阶或二阶导数信息的无约束优化方法，如最速下降法、牛顿法、共扼梯度法及变尺度法等。 另一类是只利用目标函数值信息的无约束优化方法，加坐标轮换法、鲍咸尔法(Powell)及单纯形法等。 第一类方法由于考虑了函数的变化率，因而收敛速度较快，但计算量一般较大；第二类方法能够避免在迭代过程中求解海色矩阵，进而可有效地减小计算量。 根据确定搜索方向 所使用信息性质的不同，无约束优化方法可以分为两类： 第二节 最速下降法 最速下降法是求解无约束多元函数极值问题的古老算法之一，早在1847年就已由柯西提出。该方法形式直观、原理简单，是其他更为实用有效的无约束和约束优化方法的理论基础，因此，最速下降法是无约束优化方法中最基本的方法之一。 一、最速下降法的基本原理 设 维目标函数 ，从迭代点 出发，沿着按某种 方向所确定的方向 ，搜索极小点 ，其迭代算法如下 取搜索方向 为负梯度方向，该方向的单位向量可表示为： 其中， 是 点梯度的模。 于是就形成了下面的迭代算法： （4-7） 式中， 为最优步长因子，即在负梯度方向上，函数值达到最小的步长因子，可以按照一元函数极值的必要条件求得，也可以用一维搜索的0.618法或二次插值法直接迭代求出 。 最速下降法是以负梯度方向作为搜索方向，所以最速下降法又称为梯度法。 根据一元函数极值的必要条件和多元复合运数求导公式，得 即 也可写成 为了使目标函数值沿搜索方向 能获得最大的下降值，其步长因子 应取一维搜索的最佳步长，即有 由此可知，在最速下