Hadoop集群作业的调度研究.pptVIP

Hadoop MapReduce引擎是由JobTracker和TaskTracker组成，下图是Hadoop的结构。 传统调度器： FIFO 批处理调度器 Fair Scheduler 多用户调度器 Capacity Scheduler 多用户调度器 新特性调度器： 适用于异构负载的调度器 适用于异构集群的调度器LATE 适用于实时作业的调度器Constraint-based Scheduler 最早的Hadoop Map/Reduce计算架构中，JobTracker在进行作业调度时使用的是FIFO(First In First Out)算法。所有用户的作业都被提交到一个队列中，然后由JobTracker先按照作业的优先级高低，再按照作业提交时间的先后顺序选择将被执行的作业。 FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现，同时也减轻了jobtracker的负担。但是它的缺点也是显然的，它对所有的作业都一视同仁，没有考虑到作业的紧迫程度，另外对小作业的运行不利。 FIFO调度器 FIFO调度器 2、F