[自然科学]第5章 模拟退火算2.ppt

2018-3-1 SA 1 第 5章 模拟退火算法 5.1 模拟退火算法基本原理 5.2 模拟退火算法的步骤 5.3 模拟退火算法的关键参数和操作的设计 5.4 模拟退火算法的改进 5.5 模拟退火算法的应用 2018-3-1 SA 2 5.1 模拟退火算法基本原理 模拟退火算法(simulated annealing,简称SA)的思想最早是由Metropolis等(1953)提出的，1983年Kirkpatrick等将其用于组合优化。SA算法是基于Mente Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。 模拟退火算法在某一初温下，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部优解能概率性地跳出并最终趋于全局最优。 模拟退火算法是一种通用的优化算法，目前已在工程中得到了广泛应用，诸如VLSI、生产调度、控制工程、机器学习、神经网络、图像处理等领域。 2018-3-1 SA 3 模拟退火算法目的 模拟退火算法最早是针对组合优化提出的，其目的在于: (1)为具有NP复杂性的问题提供有效的近似求解算法; (2)克服优化过程陷人局部极小; (3)克服初值依赖性。 模拟退火算法的基本思想出于物理退火过程，因此我们首先简单介绍物理退火过程。 2018-3-1 SA 4 物理退火过程和Metropolis准则 物理退火过程由以下三部分组成: (1) 加温过程。其目的是增强粒子的热运动，使其偏离平衡位置。当温度足够高时，固体将熔解为液体，从而消除系统原先可能存在的非均匀态，使随后进行的冷却过程以某一平衡态为起点。熔解过程与系统熵增过程相联系，系统能量也随温度的升高而增大。 (2）等温过程。物理学的知识告诉我们，对于与周围环境交换热量而温度不变的封闭系统，系统状态的自发变化总是朝自由能减少的方向进行，当自由能达到最小时，系统达到平衡态。 (3)冷却过程。其目的是使粒子的热运动减弱并渐趋有序，系统能量逐渐下降，从而得到低能的晶体结构。 2018-3-1 SA 5 退火与淬火过程 退火 淬火 缓慢下降 快速下降 金属： 高温---------低温 高温-----------低温 高能状态----低能状态 高能状态------高能状态 2018-3-1 SA 6 Monte Carlo方法 固体在恒定温度下达到热平衡的过程可以用Monte Carlo方法加以模拟，虽然该方法简单，但必须大量采样才能得到比较精确的结果，因而计算量很大。鉴于物理系统倾向于能量较低的状态，而热运动又妨碍它准确落到最低态的图像，采样时着重取那些有重要贡献的状态则可较快达到较好的结果。 Metropulis等在1953年提出了重要性采样法，即以概率接受新状态。 2018-3-1 SA 7 概率接受新状态方法 具体而言，在温度t，由当前状态i产生新状态j，两者的能量分别为Ei和Ej， 若尽EjEi，则接受新状态j为当前状态; 否则，若概率pr = exp(-(Ej-Ei)/kt)大于区[0,1)区间内的随机数，则仍旧接受新状态j为当前状态； 若不成立则保留状态i为当前状态，其中k为Boltzmann常数。 当这种过程多次重复，即经过大量迁移后，系统将趋于能量较低的平衡态，各状态的概率分布将趋于某种正则分布，如Gibbs正则分布。 2018-3-1 SA 8 Metropolis准则 这种重要性采样过程在高温下可接受与当前状态能量差较大的新状态，而在低温下基本只接受与当前能量差较小的新状态，这与不同温度下热运动的影响完全一致，而且当温度趋于零时，就不能接受比当前状态能量高的新状态。 这种接受准则通常称为Metropolis准则，它的计算量相对Monte Carlo方法要显著减少。 2018-3-1 SA 9 组合优化与物理退火的相似性 基于Metropolis接受准则的优化过程，可避免搜索过程陷入局部极小，并最终趋于问题的全局最优解，如图2.1.1所示。而传统的“瞎子爬山”方法显然做不到这一点，从而也对初值具有依赖性。 因此，基于Metropolis接受准则的最优化过程与物理退火过程存在一定的相似性，见表2. 1. 1 2018-3-1 SA 10 最优化与物理退火的相似性 2018-3-1 SA 11 退火过程的数学描述 设在热力学系统S中有n个状态，其中状态i的能量为Ei。在温度Tk下，经过一段时间达到热平衡，这是处于状态i的概率为