第4章 无约束优化方法.pptVIP

沿d0方向进行一维搜索，得为一维搜索最佳步长，应满足得:,2）再按DFP法构造点x1处的搜寻方向d1，需计算第29页，共62页，星期日，2025年，2月5日代入校正公式=第30页，共62页，星期日，2025年，2月5日=第二次搜寻方向为再沿d1进行一维搜索，得第31页，共62页，星期日，2025年，2月5日为一维搜索最佳步长，应满足,得3）判断x2是否为极值点梯度:海赛矩阵:第32页，共62页，星期日，2025年，2月5日梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。第33页，共62页，星期日，2025年，2月5日4.4共轭方向法1.共轭方向：设G为n×n阶实对称正定矩阵，如果有两个n维向量d0和d1满足，则称向量d0与d1关于矩阵G共轭。当G为单位矩阵时，假设目标函数f(x)在极值点附近的二次近似函数为对二维情况任选取初始点x0沿某个下降方向d0作一维搜索，得x1第34页，共62页，星期日，2025年，2月5日α0d0x0x1x*11α1d1因为是沿d0方向搜索的最佳步长，即在点x1处函数f（x）沿方向d0的方向导数为零。考虑到点x1处方向导数与梯度之间的关系，故有如果按最速下降法，选择负梯度方向为搜索方向，则将发生锯齿现象。取下一次的迭代搜索方向d1直指极小点x*.d2第35页，共62页，星期日，2025年，2月5日如果能够选定这样的搜索方向，那么对于二元二次函数只需顺次进行d0、d1两次直线搜索就可以求到极小点x*，即有那么这样的d1方向应该满足什么条件呢?对于前述的二次函数:有当时。x*是f(x)极小点，应满足极值必要条件，故有将等式两边同时左乘得：第36页，共62页，星期日，2025年，2月5日就是使d1直指极小点x*，d1所必须满足的条件。两个向量d0和d1称为G的共轭向量，或称d0和d1对G是共轭方向。2.共轭方向的性质性质1若非零向量系d0,d1,d2,…,dm-1是对G共轭，则这m个向量是线性无关的。性质2在n维空间中互相共轭的非零向量的个数不超过n。性质3从任意初始点出发，顺次沿n个G的共轭方向d0,d1,d2,…,进行一维搜索，最多经过n次迭代就可以找到的二次函数f(x)极小点。第37页，共62页，星期日，2025年，2月5日关键：新的共轭方向确定第38页，共62页，星期日，2025年，2月5日3.共轭梯度法共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。从xk出发，沿负梯度方向作一维搜索:设与dk共轭的下一个方向dk+1由dk和点xk+1的负梯度的线形组合构成，即：共轭条件：第39页，共62页，星期日，2025年，2月5日则：解得：令为函数的泰勒二次展开式则上两式相减，并代入第40页，共62页，星期日，2025年，2月5日将式与式两边相乘，并应用共轭条件得：因此第41页，共62页，星期日，2025年，2月5日，已知初始点[1,1]T例题4-4求下列问题的极值解：1）第一次沿负梯度方向搜寻计算初始点处的梯度为一维搜索最佳步长，应满足迭代精度。第42页，共62页，星期日，2025年，2月5日得:2）第二次迭代：代入目标函数第43页，共62页，星期日，2025年，2月5日得因收敛。由从而有：第44页，共62页，星期日，2025年，2月5日第1页，共62页，星期日，2025年，2月5日无约束优化问题是：求n维设计变量使目标函数：各种无约束优化解法的区别：搜索方向的不同分类：（1）不使用导数信息（2）要使用导数。搜索方向的构成问题乃是无约束优化方法的关键。第2页，共62页，星期日，2025年，2月5日4.1梯度法函数的负梯度方向是函数值下降最快的方向。搜索方向d取该点的负梯度方向(最速下降方向)，使函数值在该点附近的范围内下降最快。为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。即有第3页，共62页，星期日，2025年，2月5日根据一元函数极值的必要条件和多元复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度