模拟退火法(SA).pptVIP

模拟退火算法Simulated Annealing Algorithm 陕西师范大学计算机科学学院 主讲人：雷秀娟 主要内容 1. 引言 2. SA算法简介 3. SA算法流程及步骤 引 言 SA算法有人也称为模拟冷却法、统计冷却法、Monte-Carlo退火法、随机松弛法和概率爬山法等。 SA算法往好的方向走的同时，偶尔也往差的方向走。这使得算法即使陷入局部最优值，只要经过足够长的时间后也可跳出来，收敛到全局最优解。 SA算法以概率1收敛到问题的全局最优解。 物理退火过程 对固体物质进行退火处理时，通常先将它加热熔化，使其中的粒子可自由运动。然后随着温度的逐渐下降，粒子也逐渐形成了低能态的晶格。若在凝结点附近的温度下降速率足够慢，则固体物质一定会形成最低能量的基态。 退火过程主要由以下三部分组成： 物理退火过程 （1）加热过程 （2）冷却过程 目的是使粒子的热运动减弱并趋渐趋有序，系统能量下降，从而得到低能的晶体结构。 （3）“热平衡”过程 当自由能达到最小时，系统达到平衡态。 组合优化问题 组合优化问题解空间中的每一点都代表一个解，不同的解有着不同的成本函数值。所谓优化，就是在解空间中寻找成本函数值最小(或最大)的解。 所谓组合优化即寻找最优解s* ,使得 si V，C(s*)=minC(si)，其中V={s1,s2,…sn }为所有状态构成的解空间，C(si) 为状态si对应的目标函数值。 模拟退火算法简介 1982年，Kirkpatrick等将退火思想引入组合优化的领域，提出了一种求解大规模组合优化问题，特别是NP完全组合优化问题的有效近似解的算法——模拟退火算法（simulated annealing algorithm），简称为SA。 模拟退火算法是在某一初温下，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，在局部优解处能概率性地跳出并最终趋于全局最优。 基于Metropolis接受准则的优化过程，可避免搜索过程陷于局部极小，并最终趋于问题的全局最优解。 Metropolis准则 Metropolis等在1953年提出了重要性采样法，即以概率接受新状态。 在温度t,由当前状态i产生新状态j，二者的能量分别是Ei和Ej，若EjEi,则接受新状态j为当前状态。 否则，若概率pr =exp[-(Ej-Ei)／kt] random(0,1),则仍接受新状态j为当前状态，若不成立则保留状态i为当前状态，其中k为Boltzmann常数。（有些概念中没有这个k参数） SA算法简介 假设在搜寻最佳解的过程中 令i 代表在时间k 的现有解，其成本为C(i) 下一个搜寻到的解，其成本为C(j) D E= C(j) - C(i)为两个解之间的成本差，如图所示 SA算法简介 当j的成本大于i时，SA会根据一几率決定是否要接受j来取代i成为时间k+1的新解 因此当搜寻到的新解比现有解之成本大时，会有一个几率值来决定是否接受新解。 SA 基本上是以Metrolopis 接受法则为基础，再配合退火程序，由温度逐渐的降低来修整是否接受成本较差新解的几率，当温度越低时，几率值也跟著降低 SA的运作流程 包含了四个基本要素 系统状态(Configuration)：即在某一个温度下，系统产生的初始解，并当作目前的现行解。 搜寻法则(Search rule)：在退火的过程中，由目前系统状态经由随机扰动而产生变化跳至另一种状态。 一般而言，SA 较常用的有梯度搜寻法(Gradient Type) 和迭代改善法( Iterative Improvement) SA的运作流程 包含了四个基本要素 成本函数(Cost Function)：用来横量某一系统状态下之能量函数。 退火程序(Annealing Process)：退火程序中包含的参数有初始温度、降温机制、冷却率和终止温度。 在退火的过程中，在温度高的時候，虽然是较差的目标值，但有可能被接受当成目前的目标值，但随着温度慢慢的降低，接受较差目标值的几率逐渐降低。 SA的运作流程 SA算法的收敛性由状态产生函数, 状态接受函数和温度更新函数三个函数所决定。 用于描述SA算法的一个有力工具就是马尔可夫链。由于组合优化问题的状态空间S是有限的，因此SA算法可用非平稳马尔可夫链来描述。 模拟退火算法的马氏链 1.令V={s1,s2….}为所有状态构成的解空间，X(k)为k时刻状态变量的取值。随机序列{X(k)}称为马氏链。 2.SA算法对应一个马氏链。 马氏链可用一个有向图G=(V,E)表示，其中V为所有状态构成的顶点集， E={(i,j) ︱i,j, ， }为边集 。Ni是当前状态i的邻域。 S