基于排队网络的多优先级MapReduce作业调度算法.pdfVIP

CN 43—1258／TP 计算机工程与科学 第 36卷第 12期 20l4年 12月 ISSN 1OO7—13OX ComputerEngineering Science Vo1．36，No 12。Dec．2O14 文章编号 ：1007—130X(2014)12-2286—10 基于排队网络的多优先级 MapReduce作业调度算法 万 聪，王翠荣，王 聪，吕艳霞，贾 朔 (东北大学信息科学与工程学院，辽宁 沈阳 110819) 摘 要 ：MapReduce是一个能够对大规模数据进行分布式处理的框架，目前被各个领域广泛应用。 在提供 MapReduce服务的集群中，如何保证不同优先级用户的截止时间限定是 MapReduce作业调度 问 题的一个挑战。针对这一问题 ，提 出了一个基于排 队网络的多优先级作业调度算法(MPSA)。首先分析 和归纳了基于 MapReduce模型的算法，提 出了三种常见模 式，采 用 Jackson排 队网络 对基于 MapReduce 模型的算法建立了数学模型，应用该网络模型可 以求 出不同优先级 队列对资源的需求；随后使用 AR(1) 模型进行预测 ，使算法可以动态地适应不同的用户访问量 ；利用二分查找算法，分步计算 出不同优先级在 map阶段和 reduce阶段分配的槽位数；最后实现 了在 MapReduce模型 中应用的实时调度算法。实验结 果表明，与传统的FIFO和公平调度算法相比，本文提 出的算法在用户到达率和任务规模变化的情况下， 可以更加有效地满足不同优先级用户的截止时间限定。 关键词：云计算 ；排队网络 ；MapReduce；调度算法 中图分类号 ：TP312 文献标志码 ：A doi：10．3969／j．issn．1007-130X．2014．12．008 A M apReduceschedulingalgorithm supporting ’ · ’ · · · ‘ l l ● ■ ● m ultipleprioritiesbased 0n queulngnetW0rK WAN Cong，WANG Cui—rong，WANG Cong，LU Yan—xia，JIA Shuo (CollegeofInformationScienceandEngineering，NortheasternUniversity，Shenyang 110819，China) Abstract：MapReduceisadistributedcomputingframeworkforbigdataprocessing，whichhasbeen widelyusedin variousfields．It’Sachallengeto ensurethedeadlineofdifferentpriorityusersin the clusterproviding MapRedueeservices．To solvethisproblem ，aqueuingnetwork based multi—priority schedulingalgorithm (MPSA)isproposed．Firstly，the MapReducebased algorithmsaresummarized andanalyzed，threecommonpatternsareproposed，andtheJacksonqueuingnetworkisusedtobuilda mathematicmodeloftheM apReducebasedalgorithms．Themathematicmode1can beusedtofind the resourcedemandsofdifferentpriorityqueues．Secondly，theAR (1)modelisused topredictthenum— bersofaccessingusers，andthebinarysearchalgo