MapReduce异构环境下调度优化综述.pdfVIP

ISSN l0O9—3044 E—mail：xsjl@dnzs．net．CB ComputerKnowledgeandTechnology电脑知识与技术 http：／／www．dnzs．riet．cn Vo1．11，No．1，January2015 Tel：+86—55165690964 MapReduce异构环境下调度优化综述 王力生．魏薇 (同济大学 电子与信息工程学院，上海201804) 摘要 ：MapReduce作为一个分布式并行计算框架，在大数据处理方面得到了广泛的应用。该计算框架在同构集群环境中 能够高效地运行，但是在异构集群环境中原容错算法不能正确地检测慢速任务，导致了性能的大幅下降。该文针对这一 现象，分析了问题的主要原 因，并且介绍了现存的几个优化算法，即LongestApproximateTimetoEnd(LATE)算法，self_ AdaptiveMapReduce(SAMR)算法，EnhancedSelf-AdaptiveMapReduce(ESAMR)算法，比较了各个算法的优缺点，最后指 出了未来的研 究方向。 关键词：MapReduce；调度算法；优化 ；容错性；推测性执行 中图分类号：TP316．4 文献标识码：A 文章编号：1O09—3044(2015)01—0051—03 SurveyonM apReduceSchedulingAlgorithmsinHeter0geneousEnvironments W AN G Li—Sheng．W EIW ei (DepartmentofElectronicandInformationEngineering，Ton~iUniversity，Shangh~201804，China) Abstract：Asaparallelprogramm ingmodel，MapReduceiswidelyusedtOprocesslargedatasetsonacluster．ThecurrentMa— pR．educeimplementationworkseffectivelyinhomogeneousenvironment，buthasapoorperformanceduetOthestaticmethod usedtodetectstragglers．Thispaperdiscusseshow theheterogeneityaffectstheMapReduceperfomr anceandsurveyssomeofthe approachesthathavebeen designedtO improvetheMapReduceperformanceinheterogeneousenvironments．Advantagesand disadvantagesofthesealgorithmsareidentified． Keywords：M apReduce；schedulingalgorithms；optimization；faulttolerance；speculativeexecution 1概述 近年来 ，随着互联网技术的迅猛发展 ，越来越多的网络应用需要进行大数据的处理和存储。为 了满足计算需求 ，计算资源逐 渐 由单机多核发展为集群众核。MapReduceI是由Google提出的一个用于海量数据处理的分布式并行计算框架，在大数据处理方 面得到了业内的广泛认可。大多数互联网公司都使用MapReduce来处理大数据的查询响应以及数据挖掘工作。 MapReduce框架最初被设计在同构环境中运行 ，即各检点的计算性能、存储容量 、存储速度和网络带宽是相近的。MapReduce 在进行输入数据划分、集群任务调度和容错性处理时，也都是基于同构环境的性质做出决策。但是随着集群规模的扩展，保持所 有节点都属于同一机型是相当困难的事 ，所以MapReduce框架也可能会被部署在异构环境中，即各节点的计算性能、存储速度等 方面存在较大的差异。 由于最初设计时没有充分考虑异构环境的运行情况 ，MapReduce在异构环境中的性能并不理想。针对这一问题 ，国内外的一 些学者分析了MapRedu