第四章无约束优化方法.docVIP

无约束优化方法 在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无约束优化问题。尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的基本组成部分。因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。 无约束优化问题的一般形式可描述为： 求n维设计变量 使目标函数 （4.1) 对于上述无约束优化问题的求解，可以利用第二章讲述的无约束优化问题的极值条件求得。即将求目标函数的极值问题变成求方程 的解。也就是求Ｘ＊使其满足 解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值计算的方法。由第二章的讲述我们知道，优化问题的一般解法是数值迭代的方法。因此，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无约束极值问题。 数值迭代法的基本思想是从一个初始点出发，按照一个可行的搜索方向搜索，确定最佳的步长使函数值沿方向下降最大，得到点。依此一步一步地重复数值计算，最终达到最优点。优化计算所采用的基本迭代公式为 （4.2） 由上面的迭代公式可以看出，采用数值法进行迭代求优时，需要确定初始点、搜索方向和迭代步长，称为优化方法迭代算法的三要素。第三章我们已经讨论了如何在搜索方向上确定最优步长的方法，本章我们将讨论如何确定搜索方向。一个算法的搜索方向是该优化方法的基本标志，它从根本上决定着一个算法的成败和收敛速率的快慢。因此，分析、确定搜索方向是研究优化方法的最根本的任务之一。各种无约束优化方法也是在确定搜索方向上显示出各自的特点。 无约束优化方法可以分为两类。一类是通过计算目标函数的一阶或二阶导数值确定搜索方向的方法，称为间接法，如最速下降法、牛顿法、变尺度法和共轭梯度法。另一类是直接利用目标函数值确定搜索方向的方法，称为直接法，如坐标轮换法、鲍威尔法和单形替换法。本章将分别讨论上述这两类无约束优化方法。 4．1最速下降法 4.1.1最速下降法的基本原理 由第二章优化设计的数学基础） 可知，若某次选代中己取得点，从该点出发，取负梯度方向 为搜索方向。则最速下降法的迭代公式为 （4.3） 当第ｋ次的迭代初始点和搜索方向已经确定的情况下，原目标函数成为关于步长的一维函数。即 最优步长可以利用一维搜索的方法求得 根据一元函数极值的必要条件和多元复合函数的求导公式，得 或写成 由此可知，在最速下降法中相邻两个搜索方向互相正交。也就是说在用最速下降法迭代求优的过程中，走的是一条曲折的路线，该次搜索方向与前一次搜索方向垂直，形成“之”字形的锯齿现象，如图4.1所示。最速下降法刚开始搜索步长比较大，愈靠近极值点其步长愈小，收敛速度愈来愈慢。特别是对于二维二次目标函数的等值线是较扁的椭圆时，这种缺陷更加明显。因此所谓最速下降是指目标函数在迭代点附近出现的局部性质，从迭代过程的全局来看，负梯度方向并非是目标函数的最快搜索方向。 图4.1最速下降法的搜索路径 此外，最速下降法的迭代公式也可以写成下面的形式 （4.4） 将其与式4.3相比较，可知，此处等于4.3式中步长除以函数在点导数的模，而此时的搜索方向也不再是个单位向量。 4.1.2最速下降法的迭代过程 给定初始点，收敛精度ε，并令计算次数； 计算点的梯度及梯度的模，并令 判断是否满足精度指标；若满足，为最优点，迭代停止，输出最优解和，否则进行下一步计算； 以为出发点，沿进行一维搜索，求能使函数值下降最多的步长，即 令，ｋ＝ｋ＋１，转到步骤2)。 最速下降法的程序框图如图4.2所示。 4.2最速下降法的程序框图 例题4.1 用最速下降法求目标函数的极小值，设初始点，计算精度。 解 （１）计算初始点处目标函数的梯度和梯度的模 （２）由于，不满足精度指标，转下一步计算。 （３）确定搜索方向 （４）计算新的迭代点 由公式（4.2） 代入目标函数 沿方向进行一维搜索（或对求导，并令其为零） 令，，求得最优步长。 （５）计算新迭代点 （６）计算新迭代点的梯度及梯度的模 因已满足精度要求，停止迭代，得最优解为 ， 可见，对于目标函数的等值线为圆的情