基于多阶段划分MapReduce模型.docVIP

基于多阶段划分MapReduce模型 　　摘要：针对已有的MapReduce模型阶段划分粒度不合理导致模型精度和复杂度存在的问题，提出了阶段划分粒度为5的多阶段MapReduce模型（MRModel）。首先综述了MapReduce模型的研究现状；然后将MapReduce划分为Read、Map、Shuffle、Reduce、Write共5个阶段，并对每个阶段的具体运行时间进行研究；最后通过实验对模型的预测性能进行验证。实验结果表明，提出的MRModel可用来描述MapReduce实际任务的执行过程，与另外两种不同划分粒度的模型PModel和HModel相比，MRModel模型的运行时间预测精度可以提高10%～30%，在Reduce阶段的运行时间预测精度可以提高2～3倍，综合性能较好。 　　关键词：云计算；MapReduce；性能模型；多阶段划分；划分粒度 　　中图分类号： TP391 　　文献标志码：A 　　Abstract： 　　In order to resolve the low precision and complexity problem of the existing MapReduce model caused by the reasonable phase partitioning granularity， a multiphase MapReduce Model （MRModel） with 5 partition granularities was proposed. Firstly， the research status of MapReduce model was reviewed. Secondly， the MapReduce job was divided into 5 phases of Read， Map， Shuffle， Reduce， Write and the specific processing time of each phase was studied. Finally， the MRmodel prediction performance was tested by experiments. The experimental results show that MRModel is suitable for the MapReduce actual job execution process. Compared with the two existing models of PModel and HModel， the time accuracy precision of MRModel can be improved by 10%-30%； in the Reduce phase， its time accuracy precision can be improved by 2-3 times， the comprehensive property of the MRModel is better. 　　英文关键词Key words： 　　cloud computing； MapReduce； performance model； multiphase division； partition granularity 　　0引言 　　MapReduce[1]编程模型（MRModel）具有高可扩展性、高容错性和易于实现的特点，是目前云计算中应用最广泛的模型之一，已经在天文学、生物学、高能物理和计算机性能仿真等多个科学研究领域[2]得到了应用。该模型主要原理是利用分治法原理，通过递归将待研究的问题Q不断分解，直至得到的q∈Q子问题可以被直接解决。 　　之所以能够得到广泛应用，是由于MRModel可以提高云计算程序的运算速度，降低时间开销，衡量标准之一是MRModel的性能。目前关于MR模型（MRModel）的性能研究，从研究方法的角度划分，可以分为定性分析和定量分析两种类型。定性分析主要通过经验公式和其他手段构建MR任务的性能和MR运行参数之间的数学关系，进而对MR任务的性能进行预测和规划，比较典型的研究是以MR任务日志作为研究工具[3]，进而对任务的执行过程进行分析，最后对MR任务性能进行预测[4]。这种方法的优点是易于实现，存在的问题是经验模型预测精度不高；定量分析方法是直接通过对MR任务的运行过程进行研究，进而建立数学模型，典型的数学模型包括Yang等[5]提出的MR性能模型、可分负载模型（Divisible Load Model，DLM）[6]、核典型相关分析（Kernel Canonical Correlation Analysis，KCCA）