一种异构环境下的Hadoop调度算法.docVIP

  一种异构环境下的 Hadoop 调度算法 梁建武，周杨* （中南大学信息科学与工程学院，长沙 410075） 5 10 15 20 25 30 35 40 摘要：MapReduce 作为一种重要的大规模数据并行程序模型已经越来越广泛的应用于 web 索 引，数据挖掘以及科学仿真等方面。作为 MapReduce 的开源实现，Hadoop 的性能依赖于它 的任务调度机制。本文提出了一种异构环境下的 Hadoop 调度算法，估计任务的完成时间， 以及时使用调度算法，从而减小任务响应时间，提高 MapReduce 性能。 关键词：MapReduce；Hadoop；异构环境 中图分类号：TP399 A scheduler algorithm of Hadoop in heterogeneous environments Liang Jianwu, Zhou Yang (Central South University of Institute of information science and technology, ChangSha 410075) Abstract: MapReduce is emerging as an important programming model for large-scale data-parallel application such as web indexing, data mining, and scientific simulation. As an open-source implementation of MapReduce, Hadoop’s performance is closely dependent on its task scheduler. We design a new Hadoop scheduling algorithm for heterogeneity, estimate the time of task completed, reduces task response time and improves MapReduce’s performance. Keywords: MapReduce; Hadoop; heterogeneous 0 引言 现在大部分互联网服务都拥有数百万的用户，这些服务所产生的海量数据促进了人们对 并行处理的研究兴趣。典型的例子有 Google 使用其自身的 MapReduce 框架每天处理 20petabyts 数据[1]。此外，每个 web 应用都会对用户的每次操作生成相应的系统日志，是开 发者和操作者诊断问题的主要资源。 Google 的 MapReduce 模型是一种分布式并行框架，适用于普通配置计算机组成的集群。 Hadoop 作为其开源应用，最初由 Yahoo 开发，使用于 10000 个计算机内核上 TB 级数据的 处理[2]。现在 Hadoop 已经广泛的应用于 Facebook 和亚马逊。除此之外，Maryland 大学和 PARC 开始将 Hadoop 使用于地震模拟和 web 数据挖掘领域[3]。 MapReduce 的优势之一在于其解决失败以及容错机制对于用户透明化，不需要用户的 参与。当节点崩溃的情况下，MapReduce 将其运行的任务分配给其他节点继续运行。类似 的，如果节点是可用的但其性能低下时，这些低性能机器上处理的任务我们称之为掉队者， MapReduce 会在另外的一个节点运行一个推测执行任务（即备份任务）以更快的完成计算。 我们将这种机制称为推测执行。Hadoop 中判断掉队者的方法为将每个任务的进度与平均进 度进行比较。这种方法在均匀的环境中改善了系统性能，但是一旦其前提假设的条件不存在 时，它的性能则会大幅度的下降。 为了解决上述问题，本文设计了一种改良的自适应负载调节调度算法（SALS）以提升 系统性能，减少 Hadoop 的响应时间。文章第 2 节介绍了 Hadoop 调度算法及其假设条件.第 3 节着重介绍了 SALS 算法。第 4 节在不同的环境中测试并分析 SALS 的性能。最后在第 5 节中对全文进行总结。 作者简介：梁建武， 1964-），男，副教授，主要研究领域为计算机通信，网络安全等。E-mail: 4792935@ -1-   1 已有的 Hadoop 调度算法 当一个节点有一个空任务槽时，Hadoop 会从以下三种类别中选择任务分配。第一：任 45 意一个被赋予最高优先级的失败的任务。这是为了防止某个任务因为故障而反复执行失败。 第二：没有运行的任务。对于 map 阶段来说 ，需要使用节点本地数据的任务优先选择。第 三：执行推测机制的任务[4]。