基于任务分类的延迟调度算法.pdfVIP

2014年 第 23卷 第 9期 http：Hv~vw．c—S·a．org．ca 计 算 机 系 统 应 用 基于任务分类的延迟调度算法① 高正九，郑 烩，辛 波，王 嵩 (中国科学技术大学 信息科学技术学院，合肥 230027) 摘 要：MapReduce已经成为主流的海量数据处理模式，任务调度作为其关键环节已受到业界广泛关注．针对 已 有的延迟调度算法存在的问题，即建立在任务都是短任务的理论假设有一定限制，当节点处理不同长度的任务 时算法性能严重下降和基于静态的等待时间阈值不能适应不同用户的作业需求，提出了一种基于任务分类的延 迟调度算法．该算法通过给不同长度的任务设置不同的等待时间阈值，以适应不同作业的响应需求．通过分析各 动态参数，根据所建任务模型调整任务的等待时间阈值．仿真验证该算法在响应时间及负载均衡性方面优于已 有的延迟调度算法． 关键词：云计算；延迟调度；数据本地性；任务分类；MapReduce DelaySchedulingAlgorithm BasedonTaskClassification GAOZheng-Jiu，ZHENGQuar~XINBo，WANGSong (SchoolofInformationandTechnology,UniversityofScienceandTechnologyofChina,Hefei230027，China) Abstract：MapReducehasbecomeamainstream massdataprocessingmode，as itscrucialpart,theschedulerhas receivedextensiveconcernsofhteindustry．Therearetwodeficienciesinthecurrentdelay schedulingalgorithms． Firstly,alimiattionofhtesepoliciesishtatallhteatskstobeprocessedshouldbeshortas assumed,hteperformanceof htealgorithmsdeclinedseriouswhenservershandlehtetasks ofdifferentlengths．Secondly,delayschedulingalgorithms basedonstaticwaitingtimethreshol,dcannotadapttohtedifferentuserneeds．Toaddresshtisissue，htispaperproposed adelayschedulingalgorithmbasedontaskclassification．Itadjustedtaskswaitingtimethresholddynamicallyaccordnig tohteinfomr ationofhtedifferentlengths．Itshowshtatthisalgorithm outperfomr spreviousdelayschedulingalgorithms nitemr ofthejobresponsetimenadloadbalanceofthenode． Keywords：cloudcomputing；delayscheduling；atskclassification；adat-localit)r；MapReduce 近年来，互联网应用平台的数据量 日趋庞大，为 作业划分为多个任务，由作业服务器分配到空闲的任 了解决对海量数据的存储与处理，并利用有效的资源 务服务器上执行．但是在Hadoop框架中，却存在着任 管理与调度策略提高处理效率，云计算海量数据处理 务和所需要的数据资源可能位于不同的物理位置 5【．7】， 平台应运而生，如 Dryadt1、Hadoop2【】等．在这些平台 当任务所需要的数据处于不同的位置时，需要迁移数 上，需要并发执行多个作业．MapReduce正是在这一 据，_此即所谓的数据非本地化问 ¨】．由于当数据和 背景下产生的，由Google工程师发起设计并实现用来 计算任务处于同一节点时，计算效率才能得到保证， 处理大规模数据的分布式编程框架3【1，其后开源项 目 因此，数据的本地