Hadoop平台公平调度算法研究与优化.docVIP

Hadoop平台公平调度算法研究与优化 　　摘 要： Hadoop MapReduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量，这不能保障集群负载均衡，亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足，提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性，能够对计算节点上的计算槽进行动态调整。实验结果表明，基于动态反馈的改进算法有效地提高了集群的执行效率。 　　关键词： Hadoop; MapReduce; 公平调度算法; 动态反馈 　　中图分类号：TP311 文献标志码：A 文章编号：1006-8228（2014）12-45-03 　　Research and improve of fair scheduling algorithms based on Hadoop platform 　　Zhang Lianyi， Du Zhongjun， Li Zhen 　　（Sichuan university， college of computer science， Chengdu， Sichuan 610065， China） 　　Abstract： Unified fixed configuration file is utilized in fair scheduling algorithm of the Hadoop MapReduce framework to calculate the number of slots in computing nodes. It can’t guarantee the load balancing cluster especially in heterogeneous environment and satisfy the different requirement on the resource of different users. Aiming at the shortcomings of the existing configuration ways in fair scheduling algorithm， a dynamic feedback scheduling algorithm is proposed. Combined with the characteristics of pre-allocated algorithm， the computing nodes on the slots can be adjusted dynamically. The experimental results shows that the improved algorithm based on dynamic feedback can efficiently improve the execution efficiency of the cluster. 　　Key words： Hadoop; MapReduce; fair scheduling; dynamic feedback 　　0 引言 　　作业调度算法是一个集群的核心[1]，其主要功能是分配集群资源和对任务执行顺序进行有效控制，多以插件的形式集成到Hadoop中[2-3]。当前较常用的公平调度算法（Fair Scheduling）因未考虑计算节点负载与任务失败率之间的关系，在多用户多任务环境下易导致资源负载不均衡，任务失败率高。为此提出一种动态反馈的改进算法，通过不断观察学习任务执行过程中计算资源的占有情况，对计算节点上的计算槽进行动态调整，以提高MapReduce计算框架的整体性能和集群资源利用率。 　　1 Hadoop MapReduce框架 　　1.1 Hadoop MapReduce概述 　　Hadoop MapReduce是一种处理海量数据的并行编程模型，用户选择自定义的Map函数和Reduce函数即可并行处理海量数据。 　　Hadoop MapReduce将分布式计算形象的描述为key/value键值对，以键值对的形式在集群中进行操作。MapReduce运算包括Map和Reduce两个过程。Map阶段计算节点从输入数据块中提取key/value键值对，传递给自定义的Map函数，由Map函数来产生中间key/value键值对。通过哈希函数将键值对分成R份并写入本地磁盘。Reduce阶段对Map函数产生的中间键值对进行规约，Reduce函数从远端复制对应的key/value，并依据key进行value排序、结果合并、数据块输出。 　　1.2 Hadoop MapReduce中的调度算法 　　Hadoop中的作业调度指Jo