mapreduce集群中最大收益问题de研究.pdfVIP

第 38卷 第 1期 计 算 机 学 报 V01．38 NO．1 2015年 1月 CHINESEJOURNALOFC0MPUTERS Jan．2015 MapReduce集群 中最大收益问题的研究 王习特 申德荣 于 戈 白 梅 聂铁铮 寇 月 (东北大学信息科学与212程学 院 沈 阳 110004) 摘 要 MapReduce是 目前最为流行的用于大数据分析 的并行系统之一．许多企业 已经搭建 了自己的MapReduce 集群 ，为广大用户提供计算服务 ．用户可 以向集群提交具有完成时限要求的MapReduce作业 ，若作业被按时完成 ， 则企业可以获得一定的收益．针对这种应用场景，该文首次提 出了MapReduce集群 中的最大收益 问题．为有效地解 决该问题，首先提出了一种基于序列的任务调度策略(简称为 SEQ策略)，并证明了在处理具有完成时限约束的作 业时SEQ策略存在优势．基于 SEQ策略，该文提出了最大收益 的调度算法 (SchedulingAlgorithm forMaximum Benefit，简称 AMB算法)，该算法可以快速地确定可接收作业，并给出有效的执行方案，以达到最大化收益的 目的． 另外，针对在实际应用中的某些异常情况 (如节点宕机)，该文也设计了有效的超时处理策略，进一步增加了算法的 实用性．最后 ，通过大量的实验验证了该文所提出算法的有效性． 关键词 大数据 ；MapReduce集群 ；完成时限；最大收益 问题 中图法分类号 TP391 DOI号 1O．3724／SP．J．1016．2015．00109 ResearchonM aximum BenefitProblem in aM apReduceCluster W ANG Xi—Te SHEN De—Rong YU Ge BAIM ei NIE Tie—Zheng K0U Yue (CollegeofInformationScience＆Engineering，NortheasternUniversity，Shenyang 110004) Abstract M apReduceisoneofthemostpopularparallelsystemsforbig—dataanalysis．Many companieshavebuilttheirM apReduceclusterstoprovidecomputingservicestousers．Userscan submittheirdeadline—constraintMapReducejobstothecluster．Ifthejobsarefinishedbefore theirdeadlines，thecompanycangetsomebenefits．Forthisapplicationscenario，themaximum benefitproblem inaM apReduceclusterisfirstlypresentedin thispaper．To solvethisproblem effectively，asequence—basedtaskschedulingstrategy(SEQ strategyforshort)isproposed，and weprovetheadvantagesofSEQ strategyforthedeadline—constraintjobprocessing．Basedon SEQ strategy，anovelAlgorithm forMaximum Benefit，AMB，isproposed．AMBcanefficiently determinetheacceptablejobsandprovidetheeffectiveexecutionstrategywhichcanmaximizethe benefit．Besides，fortheexceptions (e．g．nodefailure)in practica