Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计.PDF

第 44 卷第6A 期 Vo l. 44 No. 6A 计算机科学 2017 年 6 月 CO岛1PUTER SCIENCE June 2017 Hadoop 集群环境下集成抢占式调度策略的本地性调度算法设计 王越峰王溪波 (沈阳工业大学信息科学与工程学院 沈阳 110870) 摘 要 在 Hadoop 集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提 高数据本地性，减少网络传输开销，避免阻塞。但是由于 Map 任务的完成时间不同，Reduce 任务存在的等待现象影响 了作业的平均完成时间，使得作业的完成时间增加，进而引起系统的性能参数不佳。因此提出在保留原算法数据本地 性要求的基础上集成可抢占式的调度方法。在 Reduce 任务等待时，挂起该任务并释放资源给其他Map 任务，当 Map 任务完成到一定程度后，重新调度Reduce 任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改 进的算法进行验证，通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结采表明，在相同数据 上，集成抢占式本地性调度算法的平均完成时间有明显的降低。 关键词 数据本地性，抢占式，作业平均完成时间 中图法分类号 TP316.4 文献标识码 A Design of Local Scheduling Algorithm for Integrated Preemptive Scheduling Policy in Hadoop Cluster Environment WANG Yue-feng WANG Xi-bo (School of Information Science and Engineering ,Shenyang University of Technology ,Shenyang 110870 ,China) Abstract Local scheduling algorithm is an algorithm to improve data locality in Hadoop cluster environment. The na ture of the scheduling strategy of the local scheduling algorithm is to improve the data locality ,reduce network trans mission and avoid congestio几 However， due to the different completion time of the Map task ,the waiting phenomenon of Reduce task affects the completion average time of the job ,the completion time of the job is increased ,and then the performance parameters of the system are not good. In this thesis ,we proposed to integrate the preemptive scheduling based on the local requirement of the original algorithm. When the Reduce task waits ,the task is