基于预期效用的Hadoop作业调度算法.docVIP

基于预期效用的Hadoop作业调度算法 【摘 要】本文分析了先入先出调度算法（FIFO）、公平调度算法（Fair-Scheduler）以及计算能力调度算法（Capacity Scheduler）的优缺点，并针对 Hadoop 的调度算法问题，提出了一种基于预期效用的Hadoop作业调度算法，详细叙述了该算法的原理和实现过程。最后对该算法编程验证，实验结果表明，其在调度时间方面的性能有了明显的改进。 【关键词】云计算 Hadoop 任务调度 近年来云计算技术取得了长足发展，大量的云计算系统投入使用，实际中绝大多数的云计算系统采用Hadoop平台来作为基础平台。作业调度技术在Hadoop系统中作为核心技术之一，其技术直接关系到Hadoop系统的运行性能，改进现有调度算法的不足之处，对提高Hadoop系统具有重要的意义。 一、三种作业调度算法 Hadoop现有的作业调度算法包括默认的FIFO调度算法，Facebook公司开发的公平调度算法以及Yahoo公司开发的计算能力调度算法。在FIFO的实现中，使用了一个单独的队列，TaskTracker总是将新任务追加到就绪队列的末端。该FIFO算法是容易实现，且调度开销要小于整个群集。但该算法无视不同用户以及不同任务间的需求差异，系统会阻止低优先级的任务执行，由于优先级抢占的情况不被FIFO算法所支持，这就使得平台系统的整体性能和资源利用率不高，