Hadoop平台下基于加权轮转算法的改进任务调度算法.pdfVIP

第 21卷第 4期 电 脑 与 信 息 技 术 V01．2lNo．4 2013年 8月 Computerand Information Technology Aug．2013 文章编号：1005—1228(2013)04—0018—40 Hadoop平台下基于加权轮转算法的改进任务调度算法 徐淑琦，陈 彩，王 丹 (北京工业大学，北京 100124) 摘 要：为提高Hadoop作业调度的效率，增加云平台的吞吐率，提出了一种基于Hadoop云计算平台的作业调度算法。该 算法在加权轮转调度算法的基础上，针对MapReduce的运行特点，增加了改进map任务本地性调度的因素，使得作业调 度仍然保持了相对的公平性，并通过提高轮转周期 内的map任务数据本地性，减少了任务的执行时间。实验结果证明，该 调度算法与加权轮转调度算法相比，较好地提高了任务本地执行的比例，缩短了云计算系统内作业的总执行时间。 关键词：云计算；作业调度；本地性；加权轮转；网络延时 中图分类号：TP311 文献标识码：A AImprovedTaskSchdeulingAlgorithm BaseonW eightRound-RobinAlgoritmh on HadoopPlatform XU Shu-qi，CHEN Cai。 NG Dan B(eijingUmvemi~ofTechnology，Beijing100124，China) Abstract：Toincreasejobschedulingefficiencyandsystem throughputinHadoopplaftorm,ajobschedulingalgorithm is proposed．Thealgorithm isbasedonweightedroundrobin (wry )algorithm,andaddsfactorstoimprovethedatalocality ofmap tasksaccordingtothecharacteristicofMapR．educe．Themethodsreducetask execution timebyimprovinghteadta localityofmap taskswhilemaintainingfairnessto someextentin everycycle．Theexperimental resultsshow thatcompared with WRR algorithm ，theproposed algorithm increaseshte scheduling ratio oflocaltasks，htusreducesthe execution timeoftotaljobsinthecloudcomputingsystem． Keywords：cloudcomputing；jobscheduling；locality；round——robin；networkdelay 云计算是随着并行计算、分布式计算、网格计算的 云计算平台中，调度器轮流调度系统中各个 iob的 发展而出现的一种新的计算模型”【。Hadoopt2]~Apache task，如文献 0【1的基于优先级的加权轮转算法和文献 l【1] 公司采用 iava语言编写的开源软件框架，它作为应用 的优先级加权的滑动窗口算法。前者根据 ob在系统 广泛的开源云计算平台，已被Yahoo和Facebook等公 所有 i0b中所 占的优先级比重来分配其轮转周期内的 司用来处理海量的数据。Hadoop采用 MapReduceE3，41 执行 task数 ，后者根据系统的当前负载量调整滑动窗 计算模型，将作业拆分成可并行计算的map任务 ，由