算法大全现代优化算法.docVIP

算法大全现代优化算法 第二十三章现代优化算法 现代优化算法是 80年代初兴起的启发式算法。这些算法包括禁忌搜索（ tabu search），模拟退火（ simulated annealing），遗传算法（ genetic algorithms），人工神经网 络（neural networks）。它们主要用于解决大量的实际应用问题。目前，这些算法在理论 和实际应用方面得到了较大的发展。无论这些算法是怎样产生的，它们有一个共同的目 标－求 NP-hard组合优化问题的全局最优解。虽然有这些目标，但 NP-hard理论限制它 们只能以启发式的算法去求解实际问题。 启发式算法包含的算法很多，例如解决复杂优化问题的蚁群算法（ Ant Colony Algorithms）。有些启发式算法是根据实际问题而产生的，如解空间分解、解空间的限 制等；另一类算法是集成算法，这些算法是诸多启发式算法的合成。 现代优化算法解决组合优化问题，如 TSP（Traveling Salesman Problem）问题， QAP（Quadratic Assignment Problem）问题， JSP（Job-shop Scheduling Problem）问题等效 果很好。 §1 模拟退火算法 1.1算法简介 模拟退火算法得益于材料的统计力学的研究成果。统计力学表明材料中粒子的不 同结构对应于粒子的不同能量水平。在高温条件下，粒子的能量较高，可以自由运动和 重新排列。在低温条件下，粒子能量较低。如果从高温开始，非常缓慢地降温（这个过 程被称为退火），粒子就可以在每个温度下达到热平衡。当系统完全被冷却时，最终形 成处于低能状态的晶体。 如果用粒子的能量定义材料的状态，Metropolis算法用一个简单的数学模型描述了 退火过程。假设材料在状态 i之下的能量为 E(i)，那么材料在温度 T时从状态 i进入状 态 j就遵循如下规律： （1）如果 E( j) ≤E(i) ，接受该状态被转换。 （2）如果 E( j) E(i) ，则状态转换以如下概率被接受： E(i ).E( j) KT e 其中 K是物理学中的波尔兹曼常数，T是材料温度。 在某一个特定温度下，进行了充分的转换之后，材料将达到热平衡。这时材料处 于状态 i的概率满足波尔兹曼分布： E(i) . KT e PT (x = i) = E( j) KT Σe . j∈S 其中 x表示材料当前状态的随机变量， S表示状态空间集合。 显然 Ei KT 1 lim = e. . →∞() () jE| S | KT T Σe -271- jS∈  其中| S| 表示集合 S中状态的数量。这表明所有状态在高温下具有相同的概率。而当温 度下降时， E(i).Emin E(i).Emin .. KT KT ee lim = lim T →0 E( j).Emin T →0 E( j).Emin E( j).Emin . .. KT KTKT Σe Σe +Σe j∈Sj∈Smin j.Smin E(i).Emin = lim e . KT = .. .| S 1min | 若i ∈ Smin E( j).E T→0 min ∈minjS 其中 Σe . KT .. 0 其它 Emin =min E( j) 且 Smin ={i | E(i) = Emin}。 j∈S 上式表明当温度降至很低时，材料会以很大概率进入最小能量状态。 假定我们要解决的问题是一个寻找最小值的优化问题。将物理学中模拟退火的思 想应用于优化问题就可以得到模拟退火寻优方法。 考虑这样一个组合优化问题：优化函数为 f :x → R+ ，其中 x ∈S ，它表示优化 问题的一个可行解，R+= {y | y ∈ R, y 0}，S表示函数的定义域。N(x) .S 表示 x 的一个邻域集合。 首先给定一个初始温度T0和该优化问题的一个初始解 x(0)，并由 x(0)生成下一个 解 x∈N(x(0)) ，是否接受 x 作为一个新解 x(1)依赖于下面概率： .1 若f (x) f (x(0)) . P(x(0) → x) =. f ( x). f ( x(0)) .e . T 其它 . 0 换句话说，如果生成的解 x 的