常用的无约束优化方法.ppt

第四章 常用的无约束优化 方法 王桂从 无约束优化问题的数学模型 无约束优化问题的求解方法 无约束优化方法的基本过程 4.1 坐标轮换法 坐标轮换法由D’esopo于1959年提出； 坐标轮换法是每次搜索只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行搜索的寻优方法； 坐标轮换法把多变量的优化问题轮流地转化成了单变量的优化问题。 属于直接搜索法。即只需要目标函数的数值信息而不需要目标函数的导数； 4.1 坐标轮换法-基本原理 4.1 坐标轮换法-迭代步长的确定 4.1 坐标轮换法-迭代过程 4.1 坐标轮换法-迭代过程 4.1 坐标轮换法-终止准则 4.1 坐标轮换法-计算步骤 例题4.1 坐标轮换法的流程图 小结 坐标轮换法程序简单，易于掌握。但是计算效率比较低，尤其是当优化问题的维数较高时更为严重。一般把此种方法应用于维数小于10的低维优化问题。 优化效率在很大程度上取决于目标函数的形态 4.2 鲍威尔(Powell)法 4.2.1 鲍威尔基本算法 4.2.1 鲍威尔基本算法 三维二次目标函数的鲍威尔算法搜索过程 三维二次目标函数的鲍威尔算法搜索过程 鲍威尔基本算法的搜索过程 鲍威尔基本算法的缺陷 鲍威尔基本算法的退化 4.2.3 鲍威尔修正算法 鲍威尔修正算法的方向淘汰 判别式 判别式 修正算法的迭代步骤及流程图 修正算法与基本算法的区别 修正算法除了第一环以单位坐标矢量系为基本方向组外，以后每轮开始就不必重置单位坐标矢量系，只要一环接一环继续进行即可。 随着逐环迭代的继续，各环的基本方向组将渐趋共轭。修正了的鲍威尔算法不具有二次收敛性，但是克服了退化的不利情形，同时仍能够有效地、越来越快地收敛于无约束最优点。 例题4.2 4.3 梯度法 4.3 梯度法(最速下降法) 4.3 梯度法 4.3 梯度法 这是因为梯度是函数的 局部性质，从局部上看， 在该点附近函数的下降 最快，但从总体上看则 走了许多弯路，因此函 数值的下降并不快。 常用梯度准则： 梯度法流程图 例题 4.3 梯度法的特点 优点：程序结构简单，每次迭代所需的计算量及存储量也小，而且当迭代点离最优点较远时函数值下降速度很快 4.4 共轭梯度法 共轭梯度法的搜索方向 共轭梯度法的算法 共轭梯度法的计算框图 共轭梯度法的特点 4.5 牛顿法 牛顿法是求无约束最优解的一种古典解析算法； 牛顿法可以分为原始牛顿法和阻尼牛顿法 (或称修正牛顿法)两种； 现在实际中应用较多的是阻尼牛顿法。 4.5.1 原始牛顿法 在第 k 次迭代的迭代点 x(k) 邻域内，用一个二次函数去近似代替原目标函数 F(x)，然后求出该二次函数的极小点作为对原目标函数求优的下一个迭代点，依次类推，通过多次重复迭代，使迭代点逐步逼近原目标函数的极小点。 二、原始牛顿法的迭代公式 二、原始牛顿法的迭代公式 三、原始牛顿法的特点 优点：具有二次收敛性。对于二次函数，构造的逼近函数与原目标函数是完全相同的二次式，其等值线完全重合，故从任一点出发，迭代一次即可得到最优解。对于非二次函数，若函数二次性较强或迭代点已经进入最优点的较小邻域，则收敛速度也很快。 缺点：步长恒等于1。由于迭代点的位置是按照极值条件确定的，并不能保证函数值稳定的下降，严重的情况下甚至可能造成点列的发散而导致计算的失败。 三、原始牛顿法的特点 4.5.2 阻尼牛顿法/修正牛顿法 为解决原始牛顿法的不足，加入最优步长因子?(k) ，迭代公式变为： 牛顿法算法步骤 牛顿法算法步骤 牛顿法流程图 例题4.5 阻尼牛顿法的特点 阻尼牛顿法的特点 梯度法和牛顿法的对比 牛顿法比梯度法更有效和收敛更快，这种说法是有前提的。就是当初始点 x(0) 与最优点 x* 比较接近，且两点的海赛矩阵非常接近，否则用梯度法要比牛顿法更好 4.6 DFP变尺度法 一、变尺度法的基本思想 二、变尺度法的迭代公式 (2) 变尺度法的搜索方向 :S(k) = - Ak gk ，称为拟牛顿方向。 三、DFP法变尺度矩阵的产生 拟牛顿方向 S(k) = - Ak gk 必须具有下降性、收敛性和计算的简便性。 下降性 下降性：要求S(k)与-gk之间的夹角小于90o，即： 简便性 拟牛顿条件 构造矩阵Ak+1应该满足一个重要条件—拟牛顿条件 拟牛顿条件 拟牛顿条件 DFP法变尺度矩阵的递推公式 DFP算法的特点 DFP算法的特点 DFP算法的迭代步骤 例题4.6 DFP算法的流程图 BFGS变尺度法 DFP算法由于舍入误差和一维搜索的不精确，有可能导致Ak奇异，而使数值稳定性方面不够理想。所以1970年，Broyden、Fletcher、Goldstein、Shanno等人提出一种更稳定的算法，称为BFGS算法。其校正公式为：