Hadoop集群公平调度算法改进与实现.docVIP

Hadoop集群公平调度算法改进与实现 　　摘要：Hadoop作为MapReduce的开源实现被越来越多的企业使用。但是当Hadoop集群中出现较多的小作业时，使用其内置的调度算法就会降低整个系统的吞吐率[1]。该文针对这个不足，提出了基于公平调度的延时调度算法。通过设定一定的延时来保证数据的本地性，实验结果表明改进的调度算法可以提高整个系统的吞吐率。 　　关键词：公平调度；延时分配；MapReduce；Hadoop 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2012)01-0166-03 　　Hadoop Cluster of Fair Scheduling Lgorithms to Improve and Achieve 　　LI Xin, ZHANG Peng 　　( Xi’an University of Architecture and Technology, Xi’an 710055, China) 　　Abstract: Hadoop is increasingly using for enterprises as an open source implantation of MapReduce. But when Hadoop clusters occur more small job, using its built-i