Backfilling 算法介绍及其在集群中的应用分析.pdfVIP

Backfilling 算法介绍及其在集群中的应用分析 王娟 北京邮电大学软件学院，北京（100876 ） E-mail ：wangjuanbupt@ 摘 要：集群系统实现了系统范围内的资源共享，提高了资源利用率，而 Backfilling 算法 由于解决了资源碎片问题，显著提高了系统的性能，因此在集群系统中得到了广泛应用。文 章详细介绍了典型的Backfilling 算法，指出算法存在的问题，并分析比较了其在不同集群系 统中的实现及应用情况。 关键词：集群；资源预留；EASY Backfilling；Conservative Backfilling 中图分类号：TP316 1. 引言 集群（cluster ）系统由于其卓越的性能价格比、良好的可扩展性以及高可用性，逐渐成 为当今计算机体系结构和并行处理研究的热点。集群系统是一种并行或分布式处理系统，它 包含多个由互连网络连接起来的独立计算结点，能够通过集群系统软硬件形成一个统一的计 算资源。集群系统的主要目标是通过网络互连实现全系统范围内资源的共享，达到提高资源 利用率、系统吞吐率、获得高性能的目的。任务调度策略的选用决定了整个系统的资源利用 率，用户作业的响应时间，以及用户能否公平合理地共享系统资源。 目前为止，在集群系统中，用的比较多的调度策略有：FCFS （First Come First Serve ）， FirstFit ，BestFit ，Backfilling 等。FCFS ，是比较简单的调度策略，根据任务到达系统的次序 进行调度。FCFS 比较易于实现，但是当作业的资源需求量较大而系统不能满足时，它不会 调度后面的作业，牺牲了系统的吞吐率和资源利用率。FirstFit 调度策略根据作业到达队列 的顺序扫描队列中的作业，执行第一个系统资源能满足其资源需求的作业，BestFit 调度策 略选取整个作业队列中当前系统能满足的资源要求最大的作业投入运行。这两种策略能极大 地提高系统的吞吐率但是也容易产生饥饿现象。 为了解决在FirstFit ，BestFit 等作业调度算法中的对资源要求较大的作业长时间不能得 到运行的现象，可以采取资源预留的策略，对大作业所需要的资源进行预留，当这些资源中 的一部分成为可用时，不再分配给其它的作业，一直到预留的所有资源都得到满足时，将该 作业投入运行。资源预留虽然解决了饥饿现象，但它导致出现了资源空闲时间[1]，牺牲系统 资源的利用率，而Backfilling 算法正是为了解决这个问题而引入的。 2. Backfilling 算法 Backfilling 算法即“回填算法”，允许为大作业预留资源，然后充分利用作业预约过程中 产生的时间空隙，让作业等待队列中的小作业跳过预约资源的大作业，优先调度使其在大作 业之前执行，这样不仅避免了大作业的饥饿现象，提高了小作业的响应时间，而且增加了系 统的资源利用率。Backfilling 调度策略有不同的实现方式，目前，比较典型的有Conservative Backfilling 算法和EASY Backfilling 算法。 2.1 Conservative Backfilling Conservative Backfilling 算法是和EASY Backfilling 中所采用的比较激进（aggressive ） 的算法相对而言的。当它选取等待队列中的作业进行回填时，这个被选中的作业要保证不能 -1- 延迟等待队列中所有排在它前面的作业的执行。这种调度方式的优点是：能够估计队列中作 业的开始执行时间从而给用户一个作业执行的保证。在Backfilling 算法中，用户需要在提交 作业时指定运行该作业所需处理机的个数和其预计运行的时间，作业所需处理器的数目不会 在运行过程中改变。因此，可以用一个时空图来表示作业