基于LLF的Hadoop任务调度器.docVIP

  基于 LLF 的 Hadoop 任务调度器 荆超，吕玉琴，侯宾* （北京邮电大学电子工程学院，北京 100876） 5 10 15 20 25 30 35 40 摘要：Hadoop 是一个优秀的开源分布式计算平台。通过 Hadoop 可以将各种不同配置的计 算机组建成低成本、高性能的分布式集群，并且具有高容错性和可扩展性。Hadoop 集群中 可以同时运行成百上千的作业，这些作业共享系统资源，所以任务调度就成为一个问题。本 文提出了一种在 Hadoop 环境下的基于最低松弛度优先的任务调度算法。目的是实现调度器 的公平性并提供特殊抢占功能。文章详细描述了该调度算法的内容，包括松弛度的表示方法、 优先级的计算方法以及应对超时现象的方法。另外还描述了调度器的设计结构和实现方式， 并通过实验验证调度策略的有效性。 关键词：计算机应用技术；Hadoop；任务调度；最低松弛度优先 LLF Scheduler in Hadoop Jing Chao, Lv Yuqin, Hou Bin (School of Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: Hadoop is an excellent open-source distributed computing platform. The Hadoop can take use of different configurations of computers to build low-cost, high-performance distributed clusters, with fault tolerance and scalability. Hadoop cluster can run hundreds of jobs that sharin system resources, so scheduling becomes a problem. This paper proposes a scheduling algorithm based on Least Laxity First(LLF) in Hadoop in order to achieve fairness and scheduling special preemption. This article discusses the details of the scheduling algorithm, including the representation of laxity, priority calculation method and the method of response timeouts. It also describes the design and implementation of the scheduler, and shows experiments to verify the effectiveness of scheduling strategies. Key words: computer application technology; Hadoop; task scheduling; Least Laxity First 0 引言 Hadoop 是开源的分布式计算平台，实现了 MapReduce[1]模型。MapReduce 是 Google 提 出的一个用于大规模计算的分布式编程模型。MapReduce 隐藏了分布式编程的底层细节， 让没有并行编程经验的开发人员也能够开发分布式程序 。在该模型中，分布式运算抽象为 Map 和 Reduce 两个步骤。开发者只需要实现 Map 和 Reduce 函数的逻辑，然后提交给 MapReduce 运行环境，计算任务便会在计算机集群上自动、并行地调度执行。 MapReduce 架构中包含一个 JobTracker 和若干个 TaskTraker。JobTracker 负责将作业拆 分成 Map 任务和 Reduce 任务，分发给不同的 TaskTraker 去执行，并监视 Task 的的执行情 况。默认情况下，一个 TaskTracker 可以同时运行两个 Map 任务或 Reduce 任务，这样一个 能够运行一个任务的资源称为 Slot。 由于 Hadoop 集群内的所有作业共享资源，所以需要由调度器决定作业获得资源的顺序。 Hadoop 默认的调度方法是先进先出（FIFO）策略，作业按照到达的顺序被提交。 公平调度算法（Fair Scheduler）[2]目的是让所有的