无约束条件下多变量函数寻优方法.pptVIP

前面介绍的优化方法，都需要计算目标函数的导数，而在实际工程的最优化问题中，目标函数的导数往往很难求出或者根本无法求出。下面所介绍的方法只需要计算目标函数值，无需求其导数，因此计算比较简单，其几何概念也比较清晰，属于直接法的无约束最优化方法。这类方法适用于不知道目标函数的数学表达式而仅知其具体算法的情况。这也是直接法的一个优点。 §5-3 坐标轮换法 * 坐标轮换法的基本思想： 是将一个n维优化问题转化为依次沿n个坐标方向反复进行一维搜索问题。这种方法的实质是把n维问题的求优过程转化为对每个变量逐次进行一维求优的循环过程。每次一维搜索时，只允许n个变量的一次改动，其余(n-1)个变量固定不变。故坐标轮换法也常称单变量法或变量交错法。 * 此法的效能在很大程度上取决于目标函数的性质。 * （1）计算量少，程序简单，不需要求函数导数的直接探索目标函数最优解的方法； （2）探索路线较长，问题的维数愈多求解的效率愈低。当维数n＞10时，则不应采用此法。仅适用于n较少（n 10）的目标函数求优； （3）改变初始点重新迭代，可避免出现病态。 方法特点 * * 一、基本思想 单纯形替换法也是一种不使用导数的求解无约束极小化问题的直接搜索方法，与前面几种方法不同的是，单纯形替换法不是利用搜索方向从一个点迭代到另一个更优的点，而是从一个单纯形迭代到另一个更优的单纯形。 * 定义：单纯形 n 维空间中的恰好有n+1个顶点（极点）的有界的凸多面体称之为一个单纯形。 根据定义，可知，一维空间中的单纯形是线段，二维空间中的单纯形是三角形，而三维空间中的单纯形则是四面体。 在单纯形替换算法中，从一个单纯形到另一个单纯形的迭代主要通过反射、扩张、收缩和缩边这4个操作来实现。下面以二维问题为例来对4种操作进行说明（参见下图）。 * （1）反射——设除了最劣点X1以外的基余顶点的中心为X4，作X1关于点X4的对称点X5，称X5为X1的反射点。求反射点的过程称之为反射。 （2）扩张——在得到反射点X5之后，如果X5优于原单纯形的最劣点（即有 ），表明反射方向（X5—X1）是有利方向，反射成功。若进一步有 ，可沿反射方向前进适当的距离到点X6。X6称之为扩张点，求扩张点的过程称之为扩张。扩张之后，若扩张点X6优于反射点X5，则扩张成功，以X6取代X1，得新单纯形{X6,X2,X3}；否则，扩张失败，舍弃扩张点，以反射X5点取代X1，得新单纯形{X5,X2,X3}。 设当前的单纯形的顶点为X1，X2，X3，且有 * 如果出现 。表示反射完全失败，应退回到介于X4与X1之间的某个点X8。 （3）收缩——在得到反射点X5之后，如果有 表示反射部分成功，方向（X5—X1）虽然是有利方向，但X5前进过远，应收缩到介于X4与X5之间的某个点X7。 上述两种从反射点向X1方向后退的过程都称之为收缩。如果收缩点优于原来的最劣点X1，称收缩成功，并以收缩点取代原最劣点，构成新单纯形{X7,X2,X3}或{X8,X2,X3}；否则，称之为收缩失败，舍弃收缩点。 * （4）缩边——若收缩失败，则应压缩当前单纯形的边长：令最优点X3不动，而其余顶点向X3方向压缩，使边长缩短（通常缩短一半），以产生新单纯形。如下图所示，点X1压缩到点X9，点X2压缩到点X10，得新单纯形{X9,X10,X3}，这一过程称之为缩边。 * * * * * * 5-1 梯度法 5-2 牛顿法 5-3 坐标轮换法 5-4 单纯形方法 * 工程问题大都为有约束优化问题。 为什么要研究无约束优化问题? （1）有些实际问题，其数学模型本身就是一个无约束优化问题。 （2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。 * 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。 （1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。 （2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。 无约束优化问题是： 求n维设计变量 使目标函数 * 搜索方向的构成问题乃是无约束优化方法的关键。 用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。间接法除要计算目标函数值外，还要