优化设计 约束和无约束优化.docVIP

无约束优化方法 1.坐标轮换法 2.鲍威尔法 3.梯度法 4.牛顿法 5.变尺度法 1.坐标轮换法 坐标轮换发是一种不计算函数梯度,而是通过函数值本身,即可求出寻优方向,因而也称为直接寻优法.在以后提到的鲍威尔法(Powell)法也属于直接寻优法。 对于坐标轮换法，我们做个比喻：如果我们在北京的老城区找一个地方，我们可以沿着经纬线去找。这个比喻为我们提供了一种思路，既可以取坐标的方向为寻优的方向，这就是坐标轮换法。它在每次搜索中，只允许一个变量的变化，其余量保持不变，即沿着坐标方向轮流进行搜索的方法。该方法把多变量的优化问题轮流转化成一系列单变量的优化问题。 对应于n个变量的寻优函数，若在第轮沿第个坐标第个坐标方向进行搜索，则迭代公式为 其中搜索方向取坐标方向，即（）。若，则，否则，进行下一轮的搜索，一直到满足精度要求为止。其搜索路径如图所示 这种方法的收敛效果与目标函数等值线形有很大关系。如果目标函数为二元二次函数，其等值线为圆或长轴平行于坐标轴的椭圆时，此方法很有效，经过两次搜索即可以达到最优点，如图所示。如果等值线为长轴不平行于坐标轴的椭圆，则需多次迭代才能达到最优点，但因坐标轮换法是坐标方向搜索而不是沿脊线搜索，所以就终止到脊线上而不能找到最优解。 从上述分析可以看出，采用坐标轮换法只能轮流沿着坐标的方向搜索，尽管也能使函数值步步下降，但经过曲折迂回的路径才能达到极值点；尤其极值点附近步长很小，收敛很慢，所以坐标轮换法不是一种很好的搜索方法。但是可以构造很好的搜索策略，下面讨论的鲍威尔法就是这种情况。 例题：已知，设初始点：，精度，用最优步长法的坐标轮换法求目标函数的最优解。 解：1.作第一轮迭代计算 沿的单位坐标方向进行一维搜索： 按最优步长法确定： 采用以维优化方法求出：=5，即： 沿的单位坐标方向进行一维搜索： 按最优步长法确定： 采用一维优化方法求出：=4.5，即 检验精度要求： 不满足要求：取。 经5轮迭代满足终止条件，得近似最优解： 2鲍威尔方法 鲍威尔方法是直接利用函数值来构造共轭方向的一种共轭方向法,这种方法是在研究具有正定的二次函数极小化的基础上形成的。 2.1共轭方向的生成 设、为从不点出发，沿同一方向进行一维搜索的两个极值点，根据梯度与等值面垂直的性质，和、两点处的梯度、之间存在如下关系： 另一方面,对于上式二次函数,其、两点处的梯度可表示为 两式相减得 因而有 若所取方向，如图所示，则和共轭。这说明方向分别对函数作两次一维搜索，得到两个极小点、，那么对两点的连线所给出的方向就是一起对的共轭方向。 2.2基本算法 现针对二位的情况，描述鲍威尔的基本算法，如图所示 1）任选一初始点，再选两个无关向量，如坐标轴单位向量和作为初始搜索方向。 2）从出发，顺从、作一维搜索得到点和，两点的连线得新的方向，并沿进行一维寻优，得到下一轮的搜索起点。用代替形成两个线性无关向量、，作下一轮的搜索方向。 3）从出发，顺从、作一维搜索，得到、，两点连线得新方向，沿进行一维搜索，对于二次函数，即可得到其最优解。 按照与上面分析相同的方法，可以把二维情况下的基本算法扩展到维，则鲍威尔基本算法的要点是：在每一轮迭代总有一个起始点（第一轮的起点是任选的初始点）和个线性独立的搜索方向。从事发点出发顺次沿个方向作一维搜索得一终点,由始点和终点决定了一个新的搜索方向.用这个方向替换原来个方向中的一个,形成新的搜索方向组.替换的原则是去掉原方向组的第一个方向,而将新的方向排在原方向的最后.此外规定,从这一轮的搜索终点出发沿新的搜索方向作一维搜索而得到极小点,作为下一轮迭代的始点。因为这种方法在迭代中逐次生成共轭方向，而共轭方向是较好的搜索方向，所以鲍威尔法又称为方向加速法。 应该指出的是，如果图10-5中的计算起点充分接近，则生成的收敛方向与保留的方向就有可能线性相关，从而导致方向的置换退化，为此必须对上述鲍威尔法进行改进，防止方向退化。 2.3鲍威尔改进算法 在鲍威尔基本算法中，每一轮迭代都用连接始点和终点所产生的搜索方向去替换原向量组中的第一个向量，而不管它的“好坏”，这是产生向量组线性相关的原因所在。因此在改进的算法中首先判断原向量组是否需要替换。如果需要替换，还要进一步判断原向量组中哪个向量最坏，然后再用新生成的向量替换这个最坏的向量，以保证逐次生成共轭方向。 改进算法的具体步骤如下： 任选初始点（记为），任选初始方向组，它由个线性无关的向量（如个坐标轴单位向量，，，）组成，置。 从出发，顺次沿这个线性无关的向量作一维搜索得到点，，，…，。接着以为起点，沿方向移动一个的距离，得 ，，，分别称为一轮迭代的始点、终点和反射点。始点、终点和反射