针对云计算中Map Reduce部署问题全新分组遗传算法.docxVIP

针对云计算中Map Reduce部署问题的全新分组遗传算法摘要MapReduce的是在大型集群的机器上以一种可靠以及容错性高的方式并行处理大型数据的计算模型。MapReduce计算被分解成若干map任务以及reduce任务，这些任务由Map器（映射）和Reduce器（归约）来执行。而映射器和归约器的部署直接影响MapReduce的性能和成本。从计算的角度来看，映射器和归约器的放置问题是一个经典装箱问题，可以由NP算法完成。因此，在本文中，我们针对云计算提出了一个全新的分组遗传算法来解决映射器和归约器的部署问题。与原来的相比，我们的分组遗传算法采用了创新的编码方案，并且还消除了原有的分组遗传算法一个非常重要的反转操作。新分组遗传算法通过实验验证以及评价实验结果表明，它比之前的四种流行算法，包括原始分组遗传算法有效的多。引言MapReduce是大数据处理非常流行的编程模型，它已被广泛应用于许多商业和科学应用，如数据挖掘，生物信息学，索引，机器学习和网络。MapReduce可以在一个大型的计算节点集群中并行的处理PB级的数据。不同于传统的集群，MapReduce在云计算是以不同的方式操作。一旦用户提交了MapReduce任务，用户可以立即从基础设施即服务（IaaS）租借一个专用的虚拟集群，比如亚马逊EC2，然后任务会在群集上运行。一旦任务完成，集群便会解散，用户只需支付虚拟机的使用费。一个MapReduce的工作是由一组映射器和归约器来执行。映射器和归约器分别用于执行Map任务，另一个用来执行Reduce任务。他们两个都被称为workers。在本文的剩余部分，如果没有特别的强调，workers表示映射器和减速器。当用户提交的不同工作被执行的时候，workers可能有不同的资源需求，比如CPU，内存等等。例如，一些workers会有更高CPU需求，如运行wordcount的工作，而当执行Terasort的工作会对内存有更高的需求。这些workers需要放置在虚拟机中，这样他们可以获得由虚拟机提供的资源来执行它们的任务。不适当的workers放置通常会导致workers对资源需求的不匹配。比如放置太多的workers在同一个虚拟机中可能会导致资源的竞争，从而导致性能退化。相反，放置太少的workers在同一个虚拟机虽然工人的资源的要求得到满足但降低了资源利用率。然而，目前大多数为MapReduce资源提供的工作都没有没有考虑workers安置问题。因此，一个新的问题即映射器和归约器部署问题（MRPP）提了出了并有待解决。MRPP的目的是把所有的需要进行MapReduce计算的workers部署在在虚拟机上，使得虚拟机的成本最小化，而workers的资源需求同时也得到满足。MRPP可以被看作是一种装箱问题（BPP）。但是，与经典的BPP相比，MRPP具有三个特点：（1）多种不同成本的虚拟机（箱）可以部署workers；（2）workers的部署有多种资源约束；（3）多个workers可能有相同的资源需求，因为他们可能有对相似输入数据的相同操作。因此，MRPP可以作为箱子大小可变的多约束BPP问题。显然，MRPP是NP-hard问题，因为它是BPP的推广，这已经被证明是NP-complete。针对BPP的多个变种已经提出了一些启发式。最近，遗传算法（气）包括排序遗传算法（OGA）和分组遗传算法被提出来解决这些问题，这是由于这些算法拥有搜索全局最优解的能力。然而，MRPP之类的问题很少有人研究。因此，在本文中，我们研究MRPP，这是在云计算中关于MapReduce的一个新的问题，并提出了新的GGA去解决这个问题。与原来的GGA?相比，我们使用一种新的编码方案，通过使用特定领域的知识以提高其探索能力，可以显著减少搜索空间和杂交。此外，原来的GGA重要的反演算子在我们的GGA已经被取消。此外，我们还提供了一种灵活的方式来构建拥有已知最优解MRPP实例，这可用于测试解决方案的完成质量。最后，我们对五个算法的解决方案质量以及计算时间进行了评估，包括两个流行的启发式的，一个代表性的OGA，原来的GGA以及我们新的GGA。本文的其余部分安排如下。第二节讨论了相关的工作，第三节阐述问题，第四节介绍了新的GGA，第五部分介绍了构造已知最优解MRPP实例的方法，第六部分是评估，第七节是针对这次研究的总结。相关工作MRPP可以被看作是BPP的一般化，一个NP-complete问题[3]。现在已经提出几个贪婪算法用来解决BPP及其变种。例如，在[4]和[5]中所述的几个FFD算法的变体，可以解决多约束BBP。在这些工作中，研究了几种就算代理权重的方法。此外，Kang and Park提出了一种迭代FFD（IFFD），特别是是尺寸变化的BPP。除了这些贪婪算法，工作