第六节_无约束优化方法鲍威尔.ppt

* * * * * 第二轮迭代计算 首先确定上轮中的最大函数下降量及其相应方向 映射点及其函数值 检查鲍威尔条件 于是可知 鲍威尔条件两式均不成立。第二轮取基本方向组和起始 点为 沿e2方向作一维搜索得 以 为起点沿d1方向一维搜索得 构成新生方向 沿d2方向一维搜索得 检查迭代终止条件 需再作第三轮迭代计算。 根据具体情况来分析，d1，d2实际上为共轭方向，见下图。本题又是二次函数，有共轭方向的二次收敛性，上面结果就是问题的最优解。可以预料，如果做第三轮迭代，则一定各一维搜索的步长为零，必有 故得最优解 在不计算导数的情况下，先算出若干点处的函数值，从它们之间的大小关系中也可以看出函数变化的大概趋势，为寻求函数的下降方向提供依据。 原理：利用单纯形的顶点，计算其函数值并加以比较，从中确定有利的搜索方向和步长，找到一个较好的点取代单纯形中较差的点，组成新的单纯形来代替原来的单纯形。使新单纯形不断的向目标函数的极小点靠近，直到搜索到极小点位置 §4.7 单形替换法方法 §4.7 单形替换法方法 设 x5称为x1点相对于x4点的反射点 x4为x2点、x3点连线的中点 取 §4.7 单形替换法方法 五种情况： 1） 如果 构成新的单纯形x2x3x6 如果 构成新的单纯形x2x3x5 §4.7 单形替换法方法 五种情况： 2） 构成新的单纯形x2x3x5 §4.7 单形替换法方法 五种情况： 3） 如果 构成新的单纯形x2x3x7 如果 构成新的单纯形x2x3x5 §4.7 单形替换法方法 五种情况： 4） 如果 构成新的单纯形x2x3x8 §4.7 单形替换法方法 五种情况： 5） ，构成新的单纯形x3x9x11 无约束优化问题的评价准则 为了比较各种优化方法的特性，必须建立合理的评价准则。 无约束优化方法评价准则主要包括以下几个方面：  1、可靠性。即在合理的精度要求下，在一定允许时间内能解出各种不同类型问题的成功率。能够解出的问题越多，则算法的可靠性越好。  2、有效性。即算法的解题效率。它有两个衡量标准。其一是对同一题目，在相同精度和初始条件下，比较机时多少。其二是在相同精度下，计算同一题目所需要的函数的计算次数。  3、简便性。一方面指实现该算法的准备工作量的大小。另一方面指算法占用存储单元的数量。 无约束优化方法搜索方向之间的相互联系 搜 索 方 向 函数梯度修正因子 所用目标函数信息 梯 度 法 I（单位阵） 一阶导数 牛 顿 法 二阶导数 共轭梯度法 一阶导数 变尺度法 一阶导数 方 法 鲍威尔法 函数值 零阶方法 单形替换法 零阶方法 函数值 最差点和最好点与次好点中点的连线  可靠性：牛顿法较差，因为它对目标函数要求太高，解题成功率较低。 有效性：坐标变换法和梯度法的计算效率较低，因为它们从理论上不具有二次收敛性。 简便性：牛顿法和变尺度法的程序编制较复杂，牛顿法还占用较多的存储单元。 在选用无约束优化方法时，一方面要考虑优化方法的特点，另一方面要考虑目标函数的情况。 1、一般而言，对于维数较低或者很难求得导数的目标函数，使用坐标轮换法或鲍威尔法较合适。 2、对于二次性较强的目标函数，使用牛顿法效果好。 3、对于一阶偏导数易求的目标函数，使用梯度法可使程序编制简单，但精度不宜过高。 4、综合而言，鲍威尔法和变尺度法（DFP）具有较好的性能。 本章结束 Thank You！ * * * * * * * * * * * * * * * * 第四章 无约束优化方法 4.1 最速下降法 4.2 牛顿型方法 4.3 共轭梯度法 4.6 鲍威尔方法 4.4 变尺度法 4.5 坐标轮换法 4.7 单形替换法 §4.5 坐标轮换法 一. 坐标轮换法： 1. 基本思想： 每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法。它把多变量的优化问题轮流地转化成单变量（其余变量视为常量）的优化问题，因此又称这种方法为变量轮换法。此种方法只需目标函数的数值信息而不需要目标函数的导数。 计算步骤: ⑴任选初始点,确定搜索方向 第一轮的起点 ，置n个坐标轴方向矢量为单位坐标矢量 §4.5 坐标轮换法 ⑵迭代计算 k为迭代轮数的序号，取k=1，2，……； i为该轮中一维搜索的序号，取i=1