第4章--无约束优化方法.ppt

第四章无约束优化方法§4-1最速下降法（梯度法）§4-2牛顿类方法§4-3共轭方向法§4-4共轭梯度法§4-5变尺度法§4-6坐标轮换法§4-7鲍威尔方法§4-8单形替换法4-7鲍威尔方法鲍威尔法是以共轭方向为基础的收敛较快的直接法之一，是一种十分有效的算法。1964年，鲍维尔提出这种算法，其基本思想是直接利用迭代点的目标函数值来构造共轭方向，然后从任一初始点开始，逐次沿共轭方向作一维搜索求极小点。共轭方向的性质性质1若非零向量系d0,d1,d2,…,dm-1是对G共轭，则这m个向量是线性无关的。性质2在n维空间中互相共轭的非零向量的个数不超过n。性质3从任意初始点出发，顺次沿n个G的共轭方向d0,d1,d2,…,进行一维搜索，最多经过n次迭代就可以找到的二次函数f(x)极小点。（二次收敛性）对函数：基本思想：在不用导数的前提下，在迭代中逐次构造G的共轭方向。1.共轭方向的生成设xk,xk+1为从不同点出发，沿同一方向dj进行一维搜索而到的两个极小点。jjkkkdddjggk+1xxk+1根据梯度和等值面相垂直的性质,dj和xk,xk+1两点处的梯度gk,gk+1之间存在关系:另一方面，对于上述二次函数，其xk,xk+1两点处的梯度可表示为:因而有取这说明只要沿dj方向分别对函数作两次一维搜索，得到两个极小点xk和xk+1，那么这两点的连线所给出的方向dk就是与dj一起对G共轭的方向。对于二维问题，的等值线为一族椭圆，A,B为沿轴方向上的两个极小点，分别处于等值线的切点上。则AB就是与轴一起对G共轭的方向。沿此共轭方向进行一维搜索就可找到函数f（x）的极小点x*。2.鲍威尔的基本算法针对二维情况描述鲍威尔的基本算法:x1x2x0oe1e2d1d2x*11）任选一初始点x0，再选两个线性无关的向量，如坐标轴单位向量e1=[1,0]T和e2=[0,1]T作为初始搜索方向。2）从x0出发，顺次沿e1，e1作一维搜索，得点，两点连线得一新方向d1x1x2x0oe1e2d1d2x*1用d1代替e1形成两个线性无关向量e2,d1，作为下一轮迭代的搜索方向。再从出发，沿d1作一维搜索得点，作为下一轮迭代的初始点。3）从出发，顺次沿e2,d1作一维搜索，得到点，两点连线得一新方向:沿d2作一维搜索得点x2。即是二维问题的极小点x*。方法的基本迭代格式包括共轭方向产生和方向替换两主要步骤。把二维情况的基本算法扩展到n维，则鲍威尔基本算法的要点是：在每一轮迭代中总有一个始点（第一轮的始点是任选的初始点）和n个线性独立的搜索方向。从始点出发顺次沿n个方向作一维搜索得一终点，由始点和终点决定了一个新的搜索方向。用这个方向替换原来n个方向中的一个，于是形成新的搜索方向组。替换的原则是去掉原方向组的第一个方向而将新方向排在原方向的最后。此外规定，从这一轮的搜索终点出发沿新的搜索方向作一维搜索而得到的极小点，作为下一轮迭代的始点。这样就形成算法的循环。因为在迭代中的n个搜索方向有时会变成线性相关而不能形成共轭方向。这时组不成n维空间，可能求不到极小点，所以上述基本算法有待改进。3.改进的算法在鲍威尔基本算法中，每一轮迭代都用连结始点和终点所产生出的搜索方向去替换原向量组中的第一个向量，而不管它的“好坏”，这是产生向量组线性相关的原因所在。在改进的算法中首先判断原向量组是否需要替换。如果需要替换，还要进一步判断原向量组中哪个向量最坏，然后再用新产生的向量替换这个最坏的向量，以保证逐次生成共轭方向。为此，要解决两个关键问题：（1）dk＋1是否较好？是否应该进入新的方向组？即方向组是否进行更新？（2）如果应该更新方向组，dk＋1不一定替换方向，而是有选择地替换某一方向。改进算法步骤：（1）给点初始点x0（记做），选取初始方向组它由n个线性无关的向量所组成，置k0。共轭方向法是建立在共轭方向性质3的基础上的。它提供了求二次函数极小点的原则方法。在无约束方法中许多算法都是以共轭方向作为搜索方向，根据构造共轭方向的原理不同，可以形成不同的共轭方向法，如共轭梯度法，鲍威尔法等。格拉姆-斯