第四章无约束优化方法.pptVIP

* * * * 无约束优化问题的评价准则 为了比较各种优化方法的特性，必须建立合理的评价准则。 无约束优化方法评价准则主要包括以下几个方面：  1、可靠性。即在合理的精度要求下，在一定允许时间内能解出各种不同类型问题的成功率。能够解出的问题越多，则算法的可靠性越好。  2、有效性。即算法的解题效率。它有两个衡量标准。其一是对同一题目，在相同精度和初始条件下，比较机时多少。其二是在相同精度下，计算同一题目所需要的函数的计算次数。  3、简便性。一方面指实现该算法的准备工作量的大小。另一方面指算法占用存储单元的数量。 无约束优化方法搜索方向之间的相互联系 搜 索 方 向 函数梯度修正因子 所用目标函数信息 梯 度 法 I（单位阵） 一阶导数 牛 顿 法 二阶导数 共轭梯度法 一阶导数 变尺度法 一阶导数 方 法 鲍威尔法 函数值 零阶方法 单形替换法 零阶方法 函数值 最差点和最好点与次好点中点的连线  可靠性：牛顿法较差，因为它对目标函数要求太高，解题成功率较低。 有效性：坐标变换法和梯度法的计算效率较低，因为它们从理论上不具有二次收敛性。 简便性：牛顿法和变尺度法的程序编制较复杂，牛顿法还占用较多的存储单元。 在选用无约束优化方法时，一方面要考虑优化方法的特点，另一方面要考虑目标函数的情况。 1、一般而言，对于维数较低或者很难求得导数的目标函数，使用坐标轮换法或鲍威尔法较合适。 2、对于二次性较强的目标函数，使用牛顿法效果好。 3、对于一阶偏导数易求的目标函数，使用梯度法可使程序编制简单，但精度不宜过高。 4、综合而言，鲍威尔法和变尺度法（DFP）具有较好的性能。 本章结束 Thank You！ * * * * * * * * * * * * * * * * * * * * * * * * * * * * 一、共轭方向的生成 §4.6 鲍威尔方法 对于二次函数， 两点处的梯度可表示为 代入到公式： 一、共轭方向的生成 §4.6 鲍威尔方法 结论：从不同的点出发沿某一方向分别对函数作两次一维搜索，得到两个极小点，那么这两个极小点的连线方向与该方向对G共轭 二、鲍威尔基本算法 鲍威尔基本算法的搜索过程（二维） 二、鲍威尔基本算法 鲍威尔基本算法的搜索过程（三维） 鲍威尔基本算法的步骤： 1） 第一轮基本方向组取单位坐标矢量系e1、 e2、 e3 、…、 en，沿这些方向依次作一维搜索，然后将始末两点相连作为新生方向。 2）再沿新生方向作一维搜索，完成第一轮的迭代。以后每轮的基本方向组是将上轮的第一个方向淘汰，上轮的新生方向补入本轮的最后而构成： d2k , d3k , …… dnk , dk 鲍威尔基本算法的缺陷：  可能在某一轮迭代中出现基本方向组为线性相关的矢量系的情况。如第k轮中，产生新的方向：  dk=xnk-x0k=?1kd1k+ ?2kd2k + ? ? ? + ?nkdnk  式中， d1k、d2k 、 ? ? ? 、 dnk为第k轮基本方向组矢量， ?1k 、 ?2k、 ? ? ? 、 ?nk为各方向的最优步长。  若在第k轮的优化搜索过程中出现?1k=0，则方向dk表示为d2k、 d3k 、 ? ? ? 、 dnk的线性组合，以后的各次搜索将在降维的空间进行，无法得到n维空间的函数极小值，计算将失败。  鲍威尔基本算法的退化 x1 x2 x3 ?1=0 ?2e2 ?3e3 S1 如图所示为一个三维优化问题的示例，设第一轮中?1 =0 ，则新生方向与e2 、e3共面，随后的各环方向组中，各矢量必在该平面内，使搜索局限于二维空间，不能得到最优解。 e2 e3 S1 三、鲍威尔修正算法 在某轮已经取得的n+1个方向中，选取n个线性无关的并且共轭程度尽可能高的方向作为下一轮的基本方向组  鲍威尔修正算法的搜索方向的构造：在第k轮的搜索中， x0k 为初始点，搜索方向为d1k、d2k 、 ? ? ? 、 dnk，产生的新方向为dk ，此方向的极小点为xk。沿dk方向移动得到点 xn+1k=2xnk-x0k ， 称之为x0k对xnk的映射点。  计算x0k 、 x1k、 ? ? ? 、 xnk、xk、xn+1k 各点的函数值，记作：