基于llf的hadoop任务调度器.pdfVIP

基于 LLF 的 HADOOP任务调度器 豆丁网标准与论文 : 基于 LLF 的 Hadoop 任务调度器 荆超，吕玉琴，侯宾 ( 北京邮电大学电子工程学院，北京 100876) 5 摘要 :Hadoop 是一个优秀的开源分布式计算平台。通过 Hadoop 可以将各种 不同配置的计 算机组建成低成本、高性能的分布式集群，并且具有高容错性和可扩展性。 Hadoop 集群中 可以同时运行成百上千的作业，这些作业共享系统资源，所以任务调度就成为 一个问题。本 文提出了一种在 Hadoop 环境下的基于最低松弛度优先的任务调度算法。目的 是实现调度器 的公平性并提供特殊抢占功能。文章详细描述了该调度算法的内容，包括松弛 度的表示方法、 10 优先级的计算方法以及应对超时现象的方法。另外还描述了调度器的设计 结构和实现方式， 并通过实验验证调度策略的有效性。 关键词 : 计算机应用技术 ;Hadoop; 任务调度 ; 最低松弛度优先 LLF Scheduler in Hadoop 15 Jing Chao, Lv Yuqin, Hou Bin (School of Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: Hadoop is an excellent open-source distributed computing platform. The Hadoop can take use of different configurations of computers to build low-cost, high-performance distributed 20 clusters, with fault tolerance and scalability. Hadoop cluster can run hundreds of jobs that sharin system resources, so scheduling becomes a problem. This paper proposes a scheduling algorithm based on Least Laxity First(LLF) in Hadoop in order to achieve fairness and scheduling special preemption. This article discusses the details of the scheduling algorithm, including the representation of laxity, priority calculation method and the method of response timeouts. It also 25 describes the design and implementation of the scheduler, and shows experiments to verify the effectiveness of scheduling strategies. Key words: computer application technology; Hadoop; task scheduling; Least Laxity First 0 引言 [1]30 Hadoop 是开源的分布式计算平台，实现了 MapReduce模型。 MapReduce 是 Google 提 出的一个用于大规模计算的分布式编程模型。 MapReduce隐藏了分布式编程的 底层细节， 让没有并行编程经验的开发人员也能够开发分布式程序 。在该模型中，分布 式运算抽象为 Map 和 Reduce 两个步骤。开发者只需要实现 Map 和 Reduce 函数的逻