针对公平的Hadoop贪心调度算法的分析研究.pdfVIP

摘要 云计算的概念被提出来的短短几年间，在学术界和工业界的共同推动下取得 了巨大的进展。在这个过程中出现了很多的云计算系统，其中Hadoop平台作为 一个开源的系统被许多公司采纳。Hadoop能够实现对海量数据的存储，并且提 供了完善的容错处理；同时它采用MapReduce并行计算框架，在底层自动实现了 并行化，能够使开发者像开发普通程序一样开发并行程序。 作业调度技术作为Hadoop平台的核心技术之一，其主要功能是对作业执行 的顺序和计算资源的分配进行控制，这直接关系到Hadoop平台的整体性能和计 算资源的利用情况。但是现有的调度算法均存在不足之处，因此对它们进行改进 对于提高Hadoop平台的整体性能和计算资源的利用效率具有重要的意义。 本文首先介绍了云计算的概念以及Hadoop平台的架构，然后对Hadoop平台 Scheduler)和计 现有的三大调度算法：FIFO调度算法、公平调度算法(Fair Scheduler)进行分析，并指出它们的优缺点。在此 算能力调度算法(Capacity 基础上，提出了基于公平的Hadoop贪心调度算法，并详细介绍了该算法的目标、 思想和设计方法。最后对基于公平的Hadoop贪心调度算法进行编码实现和实验 验证，实验结果表明该算法能够成功地实现预期的目标。 关键词：Hadoop；作业调度；贪心；公平 Abstract Justafew afterthe ofcloud hasbeen forward，it years concept computingputted has tremendous fieldand promotedbyindustry academy．In achieving development a ofcloud comeinto the this arelot computingsystems being,and process，there asall source is achieves bymanycompanies．Hadoop Hadoopopen platformadopted the ofmassive a thesame data，and fault-tolerant；at storage providescomprehensive USeS frameworkandachieves time，it parallelcomputing parallel MapReduce atthe bottom，which develop system enablingdevelopersparallel automatically asthe ofcommon proceduresdevelopmentprocedures． Job isoneofthe technologies,and schedulingtechnology Hadoopplatform’Skey