可扩展Hadoop任务分配模块的研究与实现.pdfVIP

可扩展Hadoop任务分配模块的研究与实现 赵保学 李战怀 陈群 姜涛 潘巍 金健 西北工业大学计算机学院 西安 710072 ResearchandImplementationofExtendableHadoopTaskAllocationModule ZhaoBaoxueLiZhanhuaiChenQunJiangTaoPanWei JinJian SchoolofComputerScience,NorthwesternPolytechnicalUniversity,Xian710002 Abstract MapReduceisapopularparallelprogrammingparadigmforlargescaledataprocessing,and HadoopistheopensourceimplementationofMapReduce.Inordertosatisfythespecificrequirements ofdifferenttypesofMapReducejobs,thispaperfirstlymakesadetaileddissectionoftheoriginal Hadooptaskallocationmechanism,andthendesignsandimplementsanextendableHadooptask allocationmodule.Thepaperfinallyimplementstwotypicaltaskallocatorsbasedontheextendable module.Experimentresultsshowthatusingextendabletaskallocationmodulewithjob-specifictask allocatorcaneffectivelyeliminatejobexecutiontimeandimproveHadoopsperformance. Keywords MapReduce;Hadoop;taskallocation;extendable 摘要 MapReduce是一种应用广泛的并行编程模型，Hadoop是MapReduce的开源实现.为了满足不 同类型的MapReduce作业对任务分配策略的特殊需求，在深入分析Hadoop固有任务分配机制的基础 上，设计并实现了一种可扩展的任务分配模块，用户可以根据作业的特性实现并加载自定义的任务分配 器.在可扩展的任务分配模块的基础上实现了两个典型的任务分配器，实验结果表明使用可扩展任务分 配模块并加载适用于特定作业的任务分配器能够显著地缩短作业的执行时间，提高Hadoop的处理性 能. 关键词 MapReduce；Hadoop；任务分配；可扩展性 TP311 ÷ “／＼U7VJ 统 分 布 务 即万珐伺4 咯分配map任 F中的搜索范围 2sks：为请求任 educe作』 司类型的甲 aop默认自 来需求，因 工万／r¨rCUUCe 清理任务 (cle 负责． 原有 的辅助容 N}(Join)操作． 作业2，Hadoo !些作业，其中f 为了提高作业： 日疋义剀仕务万配嵛，叛Ⅶ 性.下一步将继续研究如佰 计并实现更高效的任务匀 HadooD可扩展仟各分配椁