公平调度算法分析.docVIP

在Hadoop-0.21.0版本中，Fair Scheduler代码结构有了较大变化（注意，最近的0.23.0版本与0.21.0基本相同），且核心调度算法也做了重大修改，使之更合理，更完善。本文主要分析了新版Hadoop中公平调度器的新特性。 如果你不了解旧版本Hadoop的Fair Scheduler算法，可参考这篇文章： \o Hadoop-0.20.2公平调度器算法解析 Hadoop-0.20.2公平调度器算法解析 。 1. Hadoop-0.21.0版本公平调度器新特性 (1) 将之前（0.21.0之前版本）的基于缺额的调度算法改为层次调度算法 (2) 支持资源抢占 (3) 添加delay scheduling机制，使调度策略更优。 (4) 每个队列的调度策略可以配置，支持两种调度策略，分别为FIFO和FAIR，不管采用哪种调度策略，以上三个功能全部支持。 2. 层次调度算法 2.1 改进动机 之前的Fair Scheduler采用了基于缺额调度算法，主要思想是：将作业的优先级转化成权重，优先级越高权重越大，而权重越大，获得的资源越多，通过权重计算出的资源就是“公平共享量”，这是理想状态下，每个作业应得到资源量，而在实际情况下，可能获取不到这些资源，因而可以得到一个“理想和现实之间的差距”，为了是这个差距更能体现实际意义，又将时间融合进去，即：“理想和现实之差乘以时间”