Hadoop集群环境下本地性调算法改进.docVIP

Hadoop集群环境下本地性调度算法改进 　　摘 要：Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性，减少数据传输时间，减少集群的网络I/O，提高资源利用率。由于调度算法采用FIFO方式，当前作业数据量大时将影响其他紧急性高的作业响应时间，降低系统性能。本文提出一种新的调度策略，即在保证原算法数据本地性的前提下，集成静态优先级的抢占调度策略。实验结果表明，在相同的数据集上，采用集成静态优先级抢占的调度策略，优先级高的作业响应时间较优先级低的作业响应时间减少。 中国论文网 /1/viewhtm　　关键词：数据本地性；静态优先级抢占；作业响应时间 　　中图分类号：TP316.4 文献标识码：A 　　1 引言（Introduction） 　　在大数据持续发展的今天Hadoop集群环境下调度算法的研究越来越受到重视。对于作业调度算法的改进一般都是为了减少作业的完成时间，在同样资源的基础上减少系统消耗。例如大多数的算法都要研究数据本地性，通过减少机架间的网络传输减少传输时间，提高系统性能。 　　本文在对已有的调度策略改进时不仅注意提高作业的完成时间，还注意了系统对作业需要的优先程度，即一般作业使用FIFO默认调度策略思路。导致一些优先级高的作业没有在需要的时间完成，造成系统性能降低。在其他操作系统中遇到类似情况，一般使用优先级抢占策略，使优先级高的作业可以抢占正在执行的优先级低的作业的资源，达到可以降低紧急作业的响应时间。本文沿用了这一思路，提出基于静态优先级的抢占策略。以解决作业优先级不同时如何降低紧急作业的响应时间等问题。 　　2 Hadoop平台（Hadoop platform） 　　Hadoop平台是Apache基金组织引入[1]，受到Google开发的GPS（Google File System）的启发，主要由Hadoop分布式文件系统HDFS（Hadoop Distributed Files System）[2]和分布式计算框架MapReduce[3]计算架构组成。 　　Hadoop平台在大数据的背景下发展飞速，在这种背景下大量数据出现了中心聚集的问题，每日的数据处理、作业处理在逐步上升。作业调度性能是衡量大型Hadoop平台性能的首要问题，一个好的调度策略可以减少作业的平均完成时间，减少系统的负荷，提高作业的完成效率和准确性，同时也可以有效使用平台资源[4]。在Hadoop平台中，作业调度策略是通过作业调度器（HadoopTask Schedule）对作业进行调度，如图1所示。那么设计、使用好的Task Schedule，对Hadoop集群平台的性能提高特别主要[5]。Hadoop中MapReduce原有三种调度器[6]：默认的调度器FIFO Scheduler（先入先出调度）、计算能力调度器（Capacity Scheduler）、公平调度器（Fair Scheduler）。 　　默认调度器FIFO是HadoopMap/Reduce计算架构中最早的，JobTracker在进行作业调度时使用的是FIFO（First In First Out）算法。所有用户的作业都被提交到一个队列中，然后由JobTracker先按照作业的优先级高低，再按照作业提交时间的先后顺序选择将被执行的作业。优点是调度算法简单明了，JobTracker工作负担轻。同样缺点是忽略了不同作业的需求差异。例如如果类似对海量数据进行统计分析的作业长期占据计算资源，那么在其后提交的交互型作业有可能迟迟得不到处理，从而影响到用户的体验。计算能力调度器使用时，用户需要了解大量系统信息，才能设置和选择队列；公平调度器不考虑节点的实际负载状态，导致节点负载不均匀。所以越来越多的研究者从多个方面对调度算法进行了深入研究。 　　为了研究资源调度策略，研究者通过调查大量数据和不同的方向[9]从其他研究者的工作中，将调度分成五类： 　　（1）本地性感知调度（Data Locality Aware Schedulers） 　　（2）可靠性感知调度（Speculative Execution Based Schedulers） 　　（3）资源竞争感知调度（Resource Contention Aware Schedulers） 　　（4）性能管理感知调度（Performance Management Based Schedulers） 　　（5）能源与完成时间感知调度（Energy and Makespan Aware Schedulers） 　　MapReduce作业调度算法对集群的性能有着至关重要的影响。通过以下五个标准来比较Hadoop平台性能[10]：平均完成时间（是一个作业从开始到结束的时间，同时也是衡量系统性