基于Local-Search的算法赏析-(转载).docVIP

前言：很久没有写博文了，两个字——“穷忙”，这一段时间里收到了很多老师、学生和业界人员的问题，有些回答的稍显草率，请谅解，其中的一些问题（比如QCQP中的semidefinite的相关问题及讨论）很想写写，但一想到写这些东西需要认真捋清思路、小心措辞、辅助作图等，又想到自己research进展跟狗屎一样，就实在没有心情写了。其实，青年教师的科研压力不比在读博士生小，老师们应该都能理解，所以请学生们和业界人员原谅我这一段时间问题回答上的草率。 ?????今天选择Local Search（LS）这个话题，一来是最近看到很多Papers在使用这些方法，二来是看到最近优化软件LocalSolver(官网，中国代理商)火爆的不行。LocalSolver是基于local search方法（而非Branch and Cut方法和Constraint Programming方法）求解Mathematical Programming模型的，所以非线性算子（floor, ceil, log, exp, pow, cos, sin, tan）就完全不在话下了，当您的model有大量非线性和非凸性的时候，您就别再一边又一边给杜老师发Email了（杜老师，我用Gurobi和CPLEX怎么都不行？），也别苦逼地去尝试IBM ILOG CP Opitimizer了，因为CP虽然也能处理这些，但毕竟设计的初衷不是为了求Mathematical Model的，所以这时候大胆尝试一下LocalSolver吧。我以后再也不会说：你的Model非线性和非凸性都很强，有点没治~；我会说：Pls Try LocalSolver（对学术界免费开放）。  ????Local Search详细的基本知识我就不说了，说实在的，我掌握的也不是很系统，不过LocalSolver团队提供了供课堂教学用的资料，让老师教学生系统学习LS技术（我在内蒙古大学还没有资格给研究生上课，所以暂时不会把LS技术系统地带入课堂,这一点也令我有些沮丧)，有需要教学的老师可向LocalSolver开发团队协商索要教学资料。下面我简单地把跟Local Search紧密相关的一些算法（这里，我无意全面地介绍跟LS相关的各种算法）介绍给大家，让大家对LS技术有个相对直观和略显高级的理解，也能大致洞察清楚优化软件LocalSolver后面的东东，主要包括：Variable Neighborhood Descent(VND),Iterated Local Search (ILS)，Variable Neighborhood Search (VNS)，Variable Neighborhood Decompostion Search (VNDS)，Large Neighborhood Search (LNS)等。算法详细的细节我不再披露，请大家google里找相应的Papers阅读，我只简单给出算法的主要伪代码（主要的来源是Thomas Stutzle2003年一个暑期学校上的讲义即Blum在Applied Soft Computing上写的一篇综述论文），并着重分析各算法的核心思想以及各算法的区别。 -------------------------------------博主2013年8月31日注：开始-------------------------- Local Search也是一种顺序化的搜索方法，搜索路径形成一个轨迹，针对当前点（解），从其邻域中试图找到一个更好的解来代替当前解（找不到时当然要停止搜索）。 问题一：基本的Local Search常常能到达局部最优，若算法不再配备克服局部极优的机制，常常称这种Local Search为Hill Climbing（爬山法）；若配备了克服局部极优的机制，就形成更为复杂的算法，如利用iteration机制的Iterated Local Search算法，利用memory(记忆)机制的reactive search optimization算法，利用memory-less stochastic modification机制的Simulated Annealing算法。我们这里提到的Local Search主要指的是Hill Climbing。 问题二：若定义邻居（邻域）的方法是最多不超过k个Solution Component发生改变（其余n-k个component不变），这种Local Search成为k-OPT。例子：求解TSP的2-OPT即是一种Local Search。在这一算法中，常常把定义邻居的交换两条弧的操作成为2-OPT Swap,可用函数2OptSwap(route,i,k)。如对于解A-B-C-D-E-F-G-H-A，指定i=3,k=6，即针