一种短作业环境下的延迟调度算法.pdfVIP

第 49卷 第 2期 西 安 交 通 大 学 学 报 Vo1．49 NO．2 2015年 2月 JOURNALOFXI’AN JIAOTONG UNIVERSITY Feb．2015 DOI：10．7652／xituxb201502001 一 种短作业环境下的延迟调度算法 刘强 ，董小社 ，朱正东 ，王寅峰 (1．西安交通大学电子与信息工程学院，710049，西安；2．深圳职业技术学院，518172，广东深圳) 摘要 ：针对短作业场景下 YARN平 台中延迟调度算法基于静态时间等待阈值 ，不能进行合理等待 的问题 ，提 出了一种云计算环境 中基于本地性资源预测的延迟调度算法 (1ocalityresourceforecast delayscheduling，LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度， 根据节点上任务的完成进度和作业未处理数据在集群 中的分布状况预估作业的本地性资源信息， 从而判断是否需要进行等待以提高系统性能，实现 了对本地性资源的合理等待。实验结果表 明：在 短作业场景下，LRFD算法的性能和稳定性均优于已有的延迟算法，作业性能平均提升约 1O ，最 大加速 比可达 3倍 以上 。 关键词 ：云计算；延迟调度算法 ；短作业 中图分类号 ：TP391 文献标志码 ：A 文章编号：0253-987X(2015)02-0001-05 A DelaySchedulingAlgorithm forShortJobs LIU Qiang ，DONG Xiaoshe，ZHU Zhengdong，WANG Yinfeng (1．SchoolofElectronicsandInformationEngineering，Xi’anJiaotongUniversity，Xi’an710049，Chinal 2．ShenzhenInstituteofInformationTechnology，ShenzhenGuangdongr518172，China) Abstract：A delayschedulingalgorithm basedonlocalityresourceforecasting(LRFD)isproposed toaddresstheunreasonablewaitingproblem generalizedbythestatictime—waitthresholdindelay scheduling algorithm ofYARN platform for shortjobs． The algorithm takesboth the characteristicsofshortjobsanddynamicresourceavailabilityintoconsiderationtOassigntasks．It estimateslocalresourcestOmakereasonablewaitingaccording toboth thetaskprogressonthe nodesandtheunhandledsplitsdistributionintheclusterofthejob．Experimentalresultsand comparisonwiththetraditionaldelayschedulingalgorithm show thatLRFD getsabetterstability andimprovestheperformanceabout10 forshortjobsonaverageandachievesamaximum speedupuptothreetimes． Keywords：cloudcomputing；delayschedulingalgorithm；shortjobs MapRedueeE是 Google于2004年提出的一种 于 10minE引，Facebook和 Microsoft也存在 同样 的 并行计算模 型，其