基于Spark蚁群优化算法.docVIP

基于Spark蚁群优化算法 　　摘要：为应对大数据时代中组合优化问题的求解，基于云计算框架Spark，借助其基于内存、分布式的特定，提出一种并行蚁群优化算法。其思路是通过将蚂蚁构造为弹性分布式数据集，由此给出相应的一系列转换算子，实现了蚂蚁构造解过程的并行化。通过在旅行商问题（TSP）求解的仿真实验结果说明了所提出的并行算法的可行性；并在同等实验环境下对比基于MapReduce的蚁群优化算法，优化速度提升达10倍以上。 　　关键词：蚁群优化算法；并行；Spark；Hadoop；云计算 　　中图分类号： TP311 　　文献标志码：A 　　Abstract： To deal with the combinatorial optimization problem in the era of big data， a parallel Ant Colony Optimization （ACO） algorithm based on Spark， a framework for the distributed memory computing， was presented. To achieve the parallelization of the phase of solution construction in ant colony optimization， a class of ants was encapsulated to a resilient distributed dataset and the corresponding transformation operators were given. The simulation results in solving the Traveling Salesman Problem （TSP） prove the feasibility of the proposed parallel algorithm. Under the same experimental environment， the comparison results between MapReduce based ant colony algorithm and the proposed algorithm show that the proposed algorithm significantly improves the optimization speed at least ten times than the MapReduce one. 　　Key words： Ant Colony Optimization （ACO） algorithm； paralleling； Spark； Hadoop； cloud computing 　　0引言 　　组合优化（combinatorial optimization）问题的目标是从组合问题的可行解集中求出最优解。这类问题虽数学描述相对简单，但具有很强的工程代表性。典型的组合优化问题包括旅行商问题（Traveling Salesman Problem， TSP）、加工调度问题（Scheduling Problem，如FlowShop、JobShop）、01背包问题（Knapsack Problem）等。这类问题广泛地存在于生产、生活中，然而，此类问题的求解却极为困难，其主要原因在于： 　　待优化问题的解空间巨大、解数量众多，即所谓的“组合爆炸”，而传统的求解方法时间和空间复杂度高，无法胜任上述问题的求解。实际上，对于生产、生活中的许多组合优化问题，相对于花费大量时间寻求问题的最优解，快速搜索到问题的一个满意解更具有实用价值。因此，在求解现实世界中的组合优化问题时，人们将更多的精力投入到如何运用元启发式算法（meta heuristic）在尽可能短的时间内寻求问题的满意解上。元启发式算法是一类用来指导与问题相关的启发式方法，这些方法可以朝着可能含有更高质量解的搜索空间进行搜索[1]。典型的元启发式算法包括：遗传算法（Genetic Algorithm， GA）[2]、粒子群优化（Particle Swarm Optimization， PSO）算法[3]和蚁群优化（Ant Colony Optimization， ACO）算法[4-6]等。“组合爆炸”的问题在当今大数据时代的背景下显得尤为突出，随着数据的规模数量级增长，出现问题规模大到即使应用元启发式算法也无法高效地在廉价计算机上优化求解的问题。由于元启发式优化算法大都通过抽象、总结自然界生物种群一些优秀的种群协作、进化等方式行为而来，所以这类基于种群的算法在个体之间会具有天然的内在并行性。因