模拟退的火算法.pptVIP

模拟退火算法 Simulated Annealing Algorithm SAA 简介 模拟退火算法的来源是根据复杂组合优化问题与固体的退火过程之间的相似之处。 该算法在系统向着能量减小的趋势变化过程中，偶尔允许系统跳到能量较高的状态，以避开局部最小，最终稳定在全局最小。 简介 SAA属于随机模拟算法 模拟统计物理学中物体加热后冷却这一退火过程而建立的随机优化算法，意图是避免陷入局部极小解，早期用于组合优化，后来发展成一种通用的优化算法。 基本思想 SAA是基于Mente Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。另一方面，结合爬山法和随机行走。 基本思路 首先在高温下进行搜索，此时各状态出现概率相差不大，可以很快进入“热平衡状态”，这时进行的是一种“粗搜索”，也就是大致找到系统的低能区域； 随着温度的逐渐降低，各状态出现概率的差距逐渐被扩大，搜索精度不断提高。这就可以越来越准确的找到网络能量函数的全局最小点。 算法的基础 Monte Carlo模拟退火过程 蒙特卡罗(Monte Carlo)方法，或称计算机随机模拟方法，是一种基于“随机数”的计算方法。这一方法源于美国在第一次世界大战中研制原子弹的“曼哈顿计划”。该计划的主持人之一、数学家冯·诺伊曼用驰名世界的赌城—摩纳哥的Monte Carlo—来命名这种方法，为它蒙上了一层神秘色彩。 Monte Carlo方法 Monte Carlo方法的基本思想很早以前就被人们所发现和利用。 早在17世纪，人们就知道用事件发生的“频率”来决定事件的“概率”。 Buffon试验：19世纪人们用投针试验的方法来求解圆周率π。 本世纪40年代电子计算机的出现，特别是近年来高速电子计算机的出现，使得用数学方法在计算机上大量、快速地模拟这样的试验成为可能。 Monte Carlo方法 用民意测验来作一个不严格的比喻。民意测验的人不是征询每一个登记选民的意见，而是通过对选民进行小规模的抽样调查来确定可能的优胜者。其基本思想是一样的。 它需要一个良好的随机数源。这种方法往往包含一些误差，但是随着随机抽取样本数量的增加，结果也会越来越精确。 退火过程（降温过程） 在Metropolis抽样过程中温度T缓慢的降低。模拟退火过程就是通过T参数的变化使状态收敛于最小能量处。因而，T参数的选择对于算法最后的结果有很大影响。初始温度和终止温度设置的过低或过高都会延长搜索时间。降温步骤太快，往往会漏掉全局最优点，使算法收敛至局部最优点。降温步骤太慢，则会大大延长搜索全局最优点的计算时间，从而难以实际应用。因此，T可以理解为一个控制参数。 为寻找在有限时间逼近全局最优的模拟退火算法，设置了许多控制算法收敛的参数。在退火过程中指定了有限的退火温度值和在每一温度下的转移数目。Kirlpatrick等人在退火步骤中设定的参数如下： （1）初始温度值：初始温度值T0要选的足够高，保证模拟退火算法中所有可能的转移都能被接受。 SAA提出依据 固体模拟退火与组合优化问题的相似性 退火过程的状态? 组合优化问题的解 能量?目标值 能量的取舍?目标值的取舍 能量的最小值?目标值的最小值 根据这种相似性，并依据Metropolis准则进行迭代就形成了模拟退火算法 SAA机理 优化问题的解视为固体的状态； 随机给定优化问题的初始解； 给定初始温度； 根据当前的解产生新的解； 依据Metropolis准则对两个解进行取舍； 重复以上两步直到达到热平衡； 降低温度继续上述过程直到温度降到最低，最后的状态就认为是问题的解。 SAA流程 SAA特点 可以保证全局最优 特别适合组合优化问题 可以随机选择初始解 对问题本身没有特别要求，不会因为问题实例的改变影响性能 简单易行，通用性好 SAA基础理论 前者决定由当前解产生候选解的方式，后者决定在当前解产生的候选解中选择不同状态的概率。 候选解的产生方式由问题的性质决定，通常在当前状态的邻域结构内以一定概率方式产生， 而邻域函数和概率方式可以多样化设计，其中概率分布可以是均匀分布、正态分布、指数分布、柯西分布等。 具体应与问题规模成比例。 实验表明高温时迭代次数越多越好，低温时迭代次数可以适当减少。 模拟退火算法是一种通用的随机搜索算法，它可用于解决众多的优化问题，并已经广泛的应用于其他领域。如VLSL设计、图像识别等。当待解决的问题复杂性较高，而且规模较大时，在对问题的领域知识甚少的情况下，采用模拟退火算法最合适。因为模拟退火算法不像其他确定型启发式算法那样，需要依赖于问题的领域知识来提高算法的性能。 但是，从另