第4章-无约束优化方法(已排).ppt

第4章无约束优化方法4.1梯度法4.2牛顿法及其改进4.3变尺度法4.4共轭方向法4.5鲍威尔方法为一维搜索最佳步长，应满足得:,2）再按DFP法构造点x1处的搜寻方向d1，需计算沿d0方向进行一维搜索，得代入校正公式==第二次搜寻方向为再沿d1进行一维搜索，得为一维搜索最佳步长，应满足,得3）判断x2是否为极值点梯度:海赛矩阵:梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。当G为单位矩阵时，假设目标函数f(x)在极值点附近的二次近似函数为对二维情况任选取初始点x0沿某个下降方向d0作一维搜索，得x11.共轭方向：设G为n×n阶实对称正定矩阵，如果有两个n维向量d0和d1满足，则称向量d0与d1关于矩阵G共轭。因为是沿d0方向搜索的最佳步长，即在点x1处函数f（x）沿方向d0的方向导数为零。考虑到点x1处方向导数与梯度之间的关系，故有如果按最速下降法，选择负梯度方向为搜索方向，则将发生锯齿现象。取下一次的迭代搜索方向d1直指极小点x*.α0d0x0x1x*11α1d1d2那么这样的d1方向应该满足什么条件呢?对于前述的二次函数:有当时。x*是f(x)极小点，应满足极值必要条件，故有将等式两边同时左乘得：如果能够选定这样的搜索方向，那么对于二元二次函数只需顺次进行d0、d1两次直线搜索就可以求到极小点x*，即有就是使d1直指极小点x*，d1所必须满足的条件。两个向量d0和d1称为G的共轭向量，或称d0和d1对G是共轭方向。2.共轭方向的性质性质1若非零向量系d0,d1,d2,…,dm-1是对G共轭，则这m个向量是线性无关的。性质2在n维空间中互相共轭的非零向量的个数不超过n。性质3从任意初始点出发，顺次沿n个G的共轭方向d0,d1,d2,…,进行一维搜索，最多经过n次迭代就可以找到的二次函数f(x)极小点。关键：新的共轭方向确定设与dk共轭的下一个方向dk+1由dk和点xk+1的负梯度的线形组合构成，即：共轭条件：3.共轭梯度法共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。从xk出发，沿负梯度方向作一维搜索:解得：令为函数的泰勒二次展开式则上两式相减，并代入则：将式与式两边相乘，并应用共轭条件得：因此，已知初始点[1,1]T例题4-4求下列问题的极值解：1）第一次沿负梯度方向搜寻计算初始点处的梯度为一维搜索最佳步长，应满足迭代精度。得:2）第二次迭代：代入目标函数得因收敛。由从而有：对函数：基本思想：在不用导数的前提下，在迭代中逐次构造G的共轭方向。1.共轭方向的生成jkkkdddjggk+1xxk+1设xk,xk+1为从不同点出发，沿同一方向dj进行一维搜索而到的两个极小点.鲍威尔（Powell）法是直接利用函数值来构造共轭方向的一种方法另一方面，对于上述二次函数，其xk,xk+1两点处的梯度可表示为:因而有取这说明只要沿dj方向分别对函作两次一维搜索，得到两个极小点xk和xk+1，那么这两点的连线所给出的方向dk就是与dj一起对G共轭的方向。梯度和等值面相垂直的性质,dj和xk,xk+1两点处的梯度gk,gk+1之间存在关系:1）任选一初始点x0，再选两个线性无关的向量，如坐标轴单位向量e1=[1,0]T和e2=[0,1]T作为初始搜索方向。2）从x0出发，顺次沿e1，e1作一维搜索，得点，两点连线得一新方向d1x1x2x0oe1e2d1d2x*12.基本算法二维情况描述鲍威尔的基本算法:用d1代替e1形成两个线性无关向量d1,e2，作为下一轮迭代的搜索方向。再从出发，沿d1作一维搜索得点，作为下一轮迭代的初始点。x1x2x0oe1e2d1d2x*13）从出发，顺次沿e2,d1作一维搜索，得到点，两点连线得一新方向:沿d2作一维搜索得点x2.即是二维问题的极小点x*.方法的基本迭代格式包括共轭方向产生和方向替换两主要步骤。上述基本算法仅具有理论意义。把二维情况的基本算法扩展到n维，则鲍威尔基本算