大数据应用的中存储和处理问题剖析46.pptVIP

公平调度算法分析——变量定义 poolRunningJobsWeightSum：pool中已经开始运行的所有作业的权重之和 poolLowJobsWeightSum：在某个pool中，已经开始运行的，但尚需slot（tasksNum数量大于其最小共享量）的那些作业权重之和 systemJobsWeightSum：系统（可能有很多pool）中可以运行的所有作业的权重之和 timeDelta：两次信息更新的时间间隔 公平调度算法分析——相关算法 当出现一个空闲slot时，公平调度器会将此slot分配给缺额最大的作业。系统每隔500毫秒（UPDATE_INTERVAL）更新一次信息（有一个专门的更新线程对job信息进行更新），包括：作业缺额（作业的其他属性，如权重、最小共享量、公平共享量等，均是为计算缺额服务的）、权重、最小共享量、公平共享量等。 公平调度算法分析——相关算法 1) 作业权重计算方法 （1）默认情况下，权重是基于作业优先权的，但也可以基于作业的大小和年龄。权重的计算方法如下： （2）根据优先权计算权重： （3）根据用户自定义的weightAdjuster类调整权重 公平调度算法分析——相关算法 2) 更新权重 每个已经运行的作业权重更新公式： 3) 初始缺额计算 每个作业的初始缺额mapDeficit,reduceDeficit设置为0. 4) 更新作业的最小共享量 在每个pool中，将其拥有的slot按作业的权重分配给各个作业（由步骤(1)完成），分完之后将剩余的slot按作业的权重和缺额分配给仍需slot的作业（由步骤(2)和(3)完成），如果还有slot剩余，则将这些slot共享给其他pool。 公平调度算法分析——相关算法 初始化： 当前所有作业的最小共享量置零； pool的minMaps数或者minReduces数（由用户在配置文件中设定） 重复以下几步，直到slotsLeft=0： 公平调度算法分析——相关算法 （1）计算每个job的最小共享量：jobinfo.minMaps或jobinfo.minReduces 首先计算该作业可获得的共享值： 根据当前pool的剩余slot数，调整该共享值： 其中runnableNum表示作业尚需的slot数与正在运行的slot数之和，curMin表示作业的当前最小共享量（jobinfo.minMaps或jobinfo.minReduces），初始值为0。将slotsToGive作为最小共享量赋予相应的job。修改值为值减去slotsToGive。 如果此轮循环中，slotsLeft值未变，即没有slot分给任何作业，则将剩余的slot共享给pool中所有job，即，执行（2）（3）并结束算法： 公平调度算法分析——相关算法 （2）将pool中的job按weight和deficit排序 （3）按顺序依次计算每个job的最小共享量。 首先计算该作业可获得的共享值： 根据当前pool的剩余slot数，调整该共享值： 将slotsToGive作为最小共享量赋予相应的job。修改slotsLeft值为slotsLeft值减去slotsToGive。 需要注意的是，当执行完（2）（3）后，slotsLeft可能仍大于0，这时候会将剩余的slotsLeft个slot共享给其他pool。 公平调度算法分析——相关算法 5) 更新公平共享量 主要思想：基于作业权重和最小共享量计算公平共享量。首先，根据权重分配可用slot数，如果作业的最小共享量大于公平共享量，先要满足最小共享量，更新可用slot数，重复以上步骤，直到所有作业的最小共享量小于或等于公平共享量，这样，每个作业的最小共享量都得到了满足，最后，所有作业平分剩下的slot数。 公平调度算法分析——相关算法 算法实现： 初始化：当前所有作业的公平共享量置零；slotsLeft={系统中map slot 或者reduce slot 总数}；jobsLeft={系统中正在运行的作业} (1) 遍历集合jobsLeft中的所有作业，计算每个作业的jobFairShare： 如果作业的最小共享量（minSlots）大于公平共享量（jobFairShare），则：将最小共享量作为公平共享量赋值给作业。同时将此作业从集合jobsLeft中删除。 （2）将剩下的slot按权重比例给集合jobsLeft中剩余的作业： 将jobFairShare作为公平共享量赋值给作业。 公平调度算法分析——相关算法 6) 更新缺额 实际计算时，会分开： 7) 资源分配 当系统中产生一个空闲slot时，将此slot分配给缺额最大的作业。 Hadoop-0.21.0版本公平调度器新特性 (1) 将之前（0.21.0之前版本）的基于缺