模拟退火算法.pptVIP

模拟退火算法

（SimulatedAnnealing）Keynote：尤志强

背景模拟退火算法是Kirkpatrick提出，应组合优化问题而产生的，主要解决的是NP-hard问题。优化问题可以分为：函数优化问题和组合优化问题两大类1、函数优化问题：可以描述为：令S为上的有界子集（即变量的定义域），f：S—R为n维实值函数，所谓函数f在S域上全局最小化就是寻求点XminS使得f(Xmin)在S域上全局最小，即XS：f(Xmin)=f(X)?

背景2、组合优化问题组合优化（CombinatorialOptimization）问题的目标是从组合问题的可行解集中求出最优解，通常可描述为：令Ω＝{s1，s2，…，sn}为所有状态构成的解空间，C(si)为状态si对应的目标函数值，要求寻找最优解s*，使得对于所有的si∈Ω，有C(s*)＝minC(si)。组合优化往往涉及排序、分类、筛选等问题，它是运筹学的一个重要分支。典型的组合优化问题有旅行商问题（TravelingSalesmanProblem－TSP）、加工调度问题（SchedulingProblem，如Flow-Shop，Job-Shop）、0-1背包问题（KnapsackProblem）、装箱问题（BinPackingProblem）、图着色问题（GraphColoringProblem）、聚类问题（ClusteringProblem）等。这些问题描述非常简单，并且有很强的工程代表性，但最优化求解很困难，其主要原因是求解这些问题的算法需要极长的运行时间与极大的存储空间，以致根本不可能在现有计算机上实现，即所谓的“组合爆炸”。比如：基于置换排列描述的n城市TSP问题有n！种，即便不考虑无方向性的问题，仍有n!/2种不同排列，显然状态数量随问题规模呈超指数增长。若计算机每秒处理1亿种排列，穷举20个城市问题的20！种排列也要几百年。

背景因此解决这些问题的关键在于寻求有效的优化算法4

背景模拟退火算法，是智能优化算法的一种优化算法：其实是一种搜索过程或者规则，是基于某种思想和机制，通过一定的途径或规则来得到满足用户要求的问题的解。经典算法构造型算法改进型算法基于系统动态演化算法混合型算法

背景1、经典算法包括线性规划、动态规划、整数规划和分枝定界等运筹学中的传统算法，其算法计算复杂性一般很大，只适于求解小规模问题，在工程中往往不实用。2、构造性算法用构造的方法快速建立问题的解，通常算法的优化质量差。调度问题中的典型构造型算法有：Johnson法、Palmer法、Gupta法、CDS法、Daunenbring的快速接近法、NEH法等3、改进型算法（邻域搜索算法）从任一解出发，对其邻域的不断搜索和当前解的替换来进行优化，根据搜索行为，它又可以分为局部搜索法和指导性搜索法。局部搜索法：以局部优化策略在当前解的邻域中贪婪搜索，如只接受优于当前解的状态作为下一当前解的爬山法；接受当前解邻域中的最好解作为下一当前解的最陡下降法等。指导性搜索法：利用一些指导规则来指导整个解空间中优良解的探索，如SA、GA、EP、ES和TS等。

背景4、基于系统动态演化算法将优化过程转化为系统动态的演化过程，基于系统动态的演化来实现优化，如神经网络和混沌搜索等。5、混合型算法上述算法从结果或者操作上相混合而产生的各类算法今天主题邻域算法中的指导性搜索算法----模拟退火算法7

背景邻域算法与局部搜索，以及计算复杂度邻域函数的作用就是指导如何由一个（组）解来产生一个（组）新的解。函数优化与组合优化中的邻域函数的具体方式有明显差异。函数优化中的邻域函数，利用距离的概念通过附加扰动来构造邻域函数。比如x*=x+，其中x*为旧解，为尺度函数，为满足某种概率分布的随机数或梯度信息等。采用不同的概率分布（高斯分布、均匀分布）或下降策略，实现不同性质的状态转移。在组合优化中，传统的距离概念不适用。思想一致，通过一个解产生另一个解。令（S,F,f）为一个组合优化问题，其中S为所有解构成的状态空间，F为S上的可行域，f为目标函数，则一个邻域函数可定义为一种映射，其含义是，对于每个解iS，一些邻域i的解构成i的领域SiS，而任意jSi称为i的邻域解或邻居。通常约定，?eg：TSP问题的解可用置换排列来表示，如排列（1,2,3,4）可表示4个城市TSP的一个解，即旅行顺序为1,2,3,4。那么k个点的交换就可认为是一种邻域函数。不考虑方向性等引起的重复性，那么通过交换可以得到新解(2,1,3,4)、（3,2,1,4）、（4,2,3,1）、（1,3,2,4）、（1,4,3,2）、（1,2,4,3）。

背景局部搜索算法：局部搜索算法是基于贪