优化算法分类.pdfVIP

优 化 算 法 分 类 无约束优化算法 坐标轮换法 最速下降法 牛顿法 共轭梯度法 Powell法 变尺度法 单纯形法 坐标轮换法具有不需要 牛顿法对给定的初始点比 导数信息的优点，计算过程 较敏。如果初始点选择的比较 比较简单，程序实现也比较 变尺度法也是计算 最速下降法具有方法简单 好，则其解决优化问题的收敛 容易，但存在算法收敛速度 共轭梯度法具有收敛速度快等优 效率比较高的优化算法 等优点，计算效率在最初几步 过程会很快;如果选择不当， Powell法是计算效率比较高的优化 较慢、计算效率低等缺点、 点，其收敛速度远快于最速下降法。共 之一，可用来解决高阶 单纯形法具有不需目标函数导数信息 迭代时较高，且对初始点不敏 则可能会出现收敛失败的情况 算法之一，它不需要目标函数的导数， 主要用来解决优化问题设计 扼梯度法计算简单，所需要的存储空间 目标函数的优化问题， 、程序实现简单、计算效率比较高等优点 感，因而常与其他方法一起使 。另外，牛顿法存在计算过程 是求解中小型规模优化问题的有效方法 变量数目小于10的小规模无 少，适合于优化变量数目较多的中等规 但存在程序实现比较复 。 用.但最速下降法需要目标函数 复杂、计算量特别大等缺点， 。 约束优化问题;另外，坐标 模优化问题。 杂、存储空间比较大等 的一阶导数信息。 因此主要适合于设计变量数目 轮换法还可解决目标函数的 缺点。 小的优化问题及目标函数阶次 等值线为圆或平行于坐标轴 较低的优化问题。 的优化问题。 约束优化算法 约束优化问题的约束优化算法一般以非常成熟的无约束优化算法、线性规划和二次规划类优化算法为基础发展起来的。 直接法 间接法 在(优化过程中直接考虑约束条件的优化方法