启发式优化算法综述.docxVIP

启发式优化算法综述 一、启发式算法简介 1、 定义 由于传统的优化算法如最速下降法，线性规划，动态规划，分支定界法，单纯形法，共 轨梯度法，拟牛顿法等在求解复杂的大规模优化问题中无法快速有效地寻找到一个合理可靠 的解，使得学者们期望探索一种算法:它不依赖问题的数学性能，如连续可微，非凸等特性; 对初始值要求不严格、不敏感，并能够高效处理髙维数多模态的复杂优化问题，在合理时间 内寻找到全局最优值或靠近全局最优的值。于是基于实际应用的需求，智能优化算法应运而 生。智能优化算法借助自然现象的一些特点，抽象出数学规则来求解优化问题，受大自然的 启发，人们从大自然的运行规律中找到了许多解决实际问题的方法。对于那些受大自然的运 行规律或者面向具体问题的经验、规则启发出來的方法，人们常常称之为启发式算法 (Heuristic Algorithm)。 为什么要引出启发式算法，因为NP问题，一般的经典算法是无法求解，或求解时间过 长，我们无法接受。因此，采用一种相对好的求解算法，去尽可能逼近最优解，得到一个相 対优解，在很多实际情况中也是可以接受的。启发式算法是一种技术，这种技术使得在可接 受的计算成本内去搜寻最好的解，但不一定能保证所得的可行解和最优解，甚至在多数情况 下，无法阐述所得解同最优解的近似程度。 启发式算法是和问题求解及搜索相关的，也就是说,启发式算法是为了提高搜索效率才 提出的。人在解决问题吋所采取的一种根据经验规则进行发现的方法。其特点是在解决问题 时，利用过去的经验,选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案, 以随机或近似随机方法搜索非线性复杂空间中全局最优解的寻取。启发式解决问题的方法是 与算法相对立的。算法是把各种可能性都一一进行尝试，最终能找到问题的答案，但它是在 很大的问题空间内，花费大量的时间和精力才能求得答案。启发式方法则是在有限的搜索空 I可内，大大减少尝试的数量，能迅速地达到问题的解决。 2、 发展历史 启发式算法的计算量都比较大，所以启发式算法伴随着计算机技术的发展，才能取得了 巨大的成就。纵观启发式算法的历史发展史： 40年代：由于实际需要，提岀了启发式算法(快速有效)。 50年代：逐步繁荣，英中贪婪算法和局部搜索等到人们的关注。 60年代：反思，发现以前提出的启发式算法速度很快，但是解得质量不能保证，而且 对大规模的问题仍然无能为力(收敛速度慢)。 70年代：计算复杂性理论的提出，NP问题。许多实际问题不可能在合理的时间范围内 找到全局最优解。发现贪婪算法和局部搜索算法速度快，但解不好的原因主要是他们只是在 局部的区域内找解，等到的解没有全局最优性。由此必须引入新的搜索机制和策略。 Holland的遗传算法出现了 (Genetic Algorithm)再次引发了人们研究启发式算法的 兴趣。 80年代以后：模拟退火算法(Simulated Annealing Algorithm),人工神经网络 (Artificial Neural Network),禁忌搜索(Tabu Search)相继出现。 最近比较火热的：演化算法(Evolutionary Algorithm),蚁群算法(Ant Algorithms), 拟人拟物算法，量子算法等。 二、启发式算法类型 1、类型简介 大部分的算法都是仿生演变而来，如下：仿动物类的算法：粒子群优化，蚁群算法，鱼 群算法，蜂群算法等；仿植物类的算法：向光性算法，杂草优化算法等；仿人类的算法有： 遗传基因算法，和声搜索算法，神经网络；以及其他的理论成熟并被广泛使用的算法如：模 拟退火算法、禁忌搜索等等 、粒子群算法 粒子群优化算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解.粒 子群算法源于复杂适应系统（Complex Adaptive System, CAS）O CAS理论于1994年正式提 出，CAS中的成员称为主体。比如研究鸟群系统，每个鸟在这个系统中就称为主体。主体有 适应性，它能够与环境及其他的主体进行交流，并且根据交流的过程“学习”或“积累经验” 改变自身结构与行为。整个系统的演变或进化包括：新层次的产生（小鸟的出生）；分化和 多样性的出现（鸟群中的鸟分成许多小的群）；新的主题的出现（鸟寻找食物过程中，不断 发现新的食物）。 设想这样一个场景：一群鸟在随机的搜索食物。在这个区域里只有一块食物，所有的 鸟都不知道食物在那。但是它们知道自己当前的位置距离食物还有多远。那么找到食物 的最优策略是什么？最简单有效的就是搜寻目前离食物最近的鸟的周围区域。 、蚁群算法 蚁群算法（ant colony optimization, ACO）,又称蚂蚁算法，是一种用来在图中寻找优 化路径的机率型算法。它由Marco Dori go于1992年在他