第4章+无约束优化方法（已排）.ppt

* 为一维搜索最佳步长，应满足 得: , 2）再按DFP法构造点x1处的搜寻方向d1，需计算 沿d0方向进行一维搜索，得 * 代入校正公式 = * = 第二次搜寻方向为 再沿d1进行一维搜索，得 * 为一维搜索最佳步长，应满足 , 得 3）判断x2是否为极值点 梯度: 海赛矩阵 : * 　　梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。 * 当G为单位矩阵时， 假设目标函数f(x) 在极值点附近的二次近似函数为 对二维情况 任选取初始点x0沿某个下降方向d0作一维搜索，得x1 4.4　共轭方向法 1.共轭方向： 设G为n×n阶实对称正定矩阵，如果有两个n维向量d0和d1满足 ，则称向量d0与d1 关于矩阵G共轭。 * 　　因为 是沿d0方向搜索的最佳步长，即在点x1处函数f（x）沿方向d0的方向导数为零。考虑到点x1处方向导数与梯度之间的关系，故有 　　如果按最速下降法，选择负梯度方向 　为搜索方向，则将发生锯齿现象 。 取下一次的迭代搜索方向d1直指极小点x* . α0d0 x 0 x1 x* 1 1 α1d1 d2 * 　那么这样的d1方向应该满足什么条件呢 ? 对于前述的二次函数: 有 当 时 。 x*是f(x)极小点，应满足极值必要条件，故有 将等式两边同时左乘 得： 如果能够选定这样的搜索方向，那么对于二元二次函数只需顺次进行d0、d1两次直线搜索就可以求到极小点x* ，即有 * 　　就是使d1直指极小点x* ， d1所必须满足的条件 。 两个向量d0和d1称为G的共轭向量，或称d0和d1对G是共轭方向。 2.共轭方向的性质 性质1 若非零向量系d0,d1,d2,…,dm-1是对G共轭，则这m个向量是线性无关的。 性质2 在n维空间中互相共轭的非零向量的个数不超过n。 性质3 从任意初始点出发，顺次沿n个G的共轭方向d0,d1, d2,…,进行一维搜索，最多经过n次迭代就可以找到的二次函数f(x)极小点。 * 关键：新的共轭方向确定 * 设与dk共轭的下一个方向dk+1由dk和点xk+1的负梯度的线形组合构成，即： 共轭条件： 3.共轭梯度法 共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。 从xk出发，沿负梯度方向作一维搜索: * 解得： 令 为函数的泰勒二次展开式 则 上两式相减，并代入 则： * 将式 与式 两边相乘，并应用共轭条件 得： 因此 * ，已知初始点[1,1]T 例题 4-4　求下列问题的极值 解： 1）第一次沿负梯度方向搜寻 计算初始点处的梯度 为一维搜索最佳步长，应满足 迭代精度 　　。 * 得: 2）第二次迭代： 代入目标函数 * 得 因 收敛。 由 从而有： * 对函数： 基本思想：在不用导数的前提下，在迭代中逐次构造G的共轭方向。 1.共轭方向的生成 j k k k d d dj g g k+1 x x k+1 设xk, xk+1为从不同点出发，沿同一方向dj进行一维搜索而到的两个极小点. 4.5　鲍威尔方法 鲍威尔（Powell）法是直接利用函数值来构造共轭方向的一种方法 * 　　另一方面，对于上述二次函数，其xk, xk+1两点处的梯度可表示为: 因而有 取 　　这说明只要沿dj方向分别对函作两次一维搜索，得到两个极小点xk和xk+1 ，那么这两点的连线所给出的方向dk就是与dj一起对G共轭的方向。 梯度和等值面相垂直的性质, dj和 xk, xk+1两点处的梯度gk,gk+1之间存在关系: * 第4章　无约束优化方法 第1章所列举的机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。 为什么要研究无约束优化问题： (1)有些实际问题，其数学模型本身就是一个无约束优化问题。 (2) 通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 (3)约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。 * 各种无约束优化解法的区别：搜索方向的不同 分类： （1）不使用导数信息 （2）要使用导数。 搜索方向的构成问题乃是无约束优化方法的关键。 无约束优化问题是： 求n维设计变量 使目标函数： * 如何搜索目标？ * 函数的负梯度方向是函数值下降最快的方向。 搜索方向d取该点的负梯度方向 　　(最速下降方向) ，使函数值在该点附近的范围内下降最快 。 为了使目标函数值沿搜索方向