一种Hadoop平台下的调度算法及混合调度策略.pdfVIP

计算机研究与发展 of Rc5carchandDcvclo J…nalc。mputcr T—n 一种Hadoop平台下的调度算法及混合调度策略 李千目“2张晟骁1。陆路1戚薄2张宏 (南京弹工大学计算机科学与工程学院南京210。94) (南京理T大学常熟研究院江苏常熟215。。。) (ql…u@…l_qustcd”cn) AJob and Methodon Platfom SchedulingAlgorithmHybridScheduling Hadoop L1 Hon一 Qlanmul”，zha“gshe“gxlao’。，LuLu‘，QlYo“91”，andzha“g sf 2100附 。(sc^o。￡o，凸”p“￡Fr zFn(…dEnglHP。rlg，N。Wl”g【h…5。uo，sⅢ…ndTk^Hofog_，N。～1ng 。(c^4”95^“JHjfzf“fF，№…g№…s：村。，sⅢ…Ⅱ“dnc^舢￡o#，．onng姐“，J…95“215500) Abstract are aMaxD ls for descrlbed，and Exlstl“gJobschedull“galgonthm algomhmprop…d D Max dlffe…t heterogene…clusterBy…1yzlngF1FO，fa…chedull“g．andperf………der 10adcondItl…．wef…dthaL dlffe…tload sln剖吲h甜ulmgalgonthmperforma…decll…under anenuatlon．A b—donloaddetectl…5 the hybrldschedulmgstrat。gy proposed，…hIchsysLem ’啊uldselect cIoad su』￡ablcschedulIng condl“on ak_or“hm『or“…一n wordscloud Key computlng；11ad。。p；Jobscheduli“g；hybrld 摘要云资源的合理分配以及对作业的有效调度，能够大幅提升云系统性能在归纳Hadoop的现有 作业调度算法的基础上，提出一个适用于异构集群的MaxD调度算法对比分析了FIF()、公平调度以 及Ma x-D算法在不同负栽情况下的性能，针对单一调度算法在不同自栽下性能衰减的缺陷，设计出基 于自栽检测的混合调度策略，为系统选择最为适合当前自栽状况的调度算法．实验数据表明，FⅢ()、公平调 度以及Max_D算法的混合调度方式对减少作业的平均调度时间以厦保证公平性是有鼓的 关键词云计算；Hadoop；作业调度；混合调度；异构集群 中图{圭分类号TP39l 随着近年来网络带宽的持续增长和计算设备计 算能力的不断提升，网格计算、虚拟化、soA和容错 技术等关键技术日臻完善，通过网络访问非本地的 算框架，旨在构建一个具有高可靠性的良好扩展性 计算服务(包括大数据处理、存储和信息服务等)的 的分布式系统Hadoop平台为应用程序提供了一 条件越来越成熟，众多计算资源并不在本地而是在