MapReduce异构的环境下调度优化综述.docVIP

MapReduce异构的环境下调度优化综述 　　摘要：MapReduce作为一个分布式并行计算框架，在大数据处理方面得到了广泛的应用。该计算框架在同构集群环境中能够高效地运行，但是在异构集群环境中原容错算法不能正确地检测慢速任务，导致了性能的大幅下降。该文针对这一现象，分析了问题的主要原因，并且介绍了现存的几个优化算法，即Longest Approximate Time to End（LATE）算法，Self-Adaptive MapReduce（SAMR）算法，Enhanced Self-Adaptive MapReduce（ESAMR）算法，比较了各个算法的优缺点，最后指出了未来的研究方向。 　　关键词：MapReduce；调度算法；优化；容错性；推测性执行 　　中图分类号：TP316.4 文献标识码：A 文章编号：1009-3044（2015）01-0051-03 　　Survey on MapReduce Scheduling Algorithms in Heterogeneous Environments 　　WANG Li-Sheng，WEI Wei 　　（Department of Electronic and Information Engineering， Tongji University， Shanghai 201804， China） 　　Abstract： As a parallel programming model， MapReduce is widely used to process large data sets on a cluster. The current MapReduce implementation works effectively in homogeneous environment， but has a poor performance due to the static method used to detect stragglers. This paper discusses how the heterogeneity affects the MapReduce performance and surveys some of the approaches that have been designed to improve the MapReduce performance in heterogeneous environments. Advantages and disadvantages of these algorithms are identified. 　　Key words： MapReduce； scheduling algorithms； optimization； fault tolerance； speculative execution 　　1 概述 　　近年来，随着互联网技术的迅猛发展，越来越多的网络应用需要进行大数据的处理和存储。为了满足计算需求，计算资源逐渐由单机多核发展为集群众核。MapReduce[1， 2]是由Google提出的一个用于海量数据处理的分布式并行计算框架，在大数据处理方面得到了业内的广泛认可。大多数互联网公司都使用MapReduce来处理大数据的查询响应以及数据挖掘工作。 　　MapReduce框架最初被设计在同构环境中运行，即各检点的计算性能、存储容量、存储速度和网络带宽是相近的。MapReduce在进行输入数据划分、集群任务调度和容错性处理时，也都是基于同构环境的性质做出决策。但是随着集群规模的扩展，保持所有节点都属于同一机型是相当困难的事，所以MapReduce框架也可能会被部署在异构环境中，即各节点的计算性能、存储速度等方面存在较大的差异。 　　由于最初设计时没有充分考虑异构环境的运行情况，MapReduce在异构环境中的性能并不理想。针对这一问题，国内外的一些学者分析了MapReduce性能下降的原因，并且提出了一些异构环境下的改进算法。该文通过对这些算法进行分析，总结出各个算法的优缺点，希望以此作为相关技术人员的参考。 　　2 MapReduce框架介绍 　　2.1 MapReduce工作原理 　　将海量数据分成较小的数据块，分发到各个节点并行处理。对用户而言，任务在分布式集群中的调度过程是透明的。用户只需要实现Map函数和Reduce函数即可，其中，Map函数处理输入的键值对（key/value），并生成一组临时的键值对，发送给Reduce函数进行处理；Reduce函数处理临时键值对，生成最终结果写到分布式文件系统。Map函数和Reduce函数的并行调度由MapReduce框