作业管理系统NQS研究.pdf

作业管理系统NQS的研究 摘要 在科学研究、商业信息处理等许多领域，都要进行高性能计算。作业管 理系统是组成高性能计算环境的关键部分，它提供了作业提交、调度、执行 及控制的新机制，可以充分利用网络中的各种资源建立一种高性能和高可靠 性的分布式计算环境。对作业管理系统进行研究是一件很有意义的工作。 本文较深入的研究了典型的作业管理系统NQS，其日的是为我们开发新 型的作业管理系统作一些准备工作。本文的研究工作和研究成果主要包括以 下内容。 分析了为什么要引入和发展作业管理系统、作业管理系统应该包含的基 本功能要素。 较深入的分析了NQS，包括NQS的作业管理功能、负载共享、系统结 构等。通过分析指出了NQS在作业管理功能方面、负载共享方面、系统结构 方面的不足。 针对NQS在作业管理功能方面的不足，介绍了笔者参与研究开发的 了笔者在实现WorkCenter过程中遇到的问题和对这些问题的解决方法。 针对NQS在负载共享方面的不足提出了一种新的负载共享方法“分布式 FairShare 公平共享调度”(DFSS--Distributed Scheduling)，笔者只做了DFSS 的设计，没有进行编码工作。 针对NQS在系统结构方面的不足提出了作业管理系统的“功能导向的模 块化系统结构”，这种系统结构为我们设计新型作业管理系统提供了一个蓝 图。 关键字；NQS，批处理，批处理作业，作业管理系统，请求，队列，负载共 享，作业调度，分布式公平共享调度 作业管理系统NQS的研究 第一章绪论 1．1研究背景 作业管理系统是建立在操作系统之上的一类系统软件，它的主要作用是 强化操作系统的作业管理功能，提供作业提交、调度、执行及控制的新机制， 更加有效地利用系统资源、平衡网络负载、提高系统整体性能。 早期的作业管理系统是由Unix操作系统的作业管理功能发展而来的。 Unix操作系统提供了有限的作业管理功能，当大量的实际应用要依赖于Unix 时，就产生了对Unix及POSIX标准进行扩展，使之能更有效地支持批处理 作业管理的要求。在这种要求下，产生了早期的批处理队列系统(Batch Queuing 一个子系统，用户将作业提交给该子系统，由它对作业进行调度和执行并负 责系统资源的有效利用及作业控制。 批处理队列系统的一个代表是NQS(Network QueuingSystem)。NQS出现 后，得到了广泛的应用，并被移植到不同的系统平台(包括各种Unix系统、 Linux及WindowsNT系统)，成为后来作业管理系统研究开发的基础。IEEE 1003．2d，“Batch 已经将NQS确立为POSIX标准的一部分，即POSIXQueuing Extensionsfor Portable OperatingSystem” 目前已经存在几十种作业管理系统，这些系统在目标、结构、功能和实 现上各有差异，从不同侧面反映了作业管理系统所应具备的特性。但是，这 些系统都在不同程度了遵从POSLX 1003．2d标准，有的还以NQS作为它的一 个部件。可见，NQS在作业管理系统中扮演着很重要的角色，理解NQS是 理解所有这些作业管理系统的关键。为此，本文将对NQS进行全面的分析和 研究。通过研究NQS，我们将能更深入的理解现有的作业管理系统、更加容 易的对现有作业管理系统进行改造和扩充以满足实际需求、更好的设计和实 现新型的作业管理系统等。 1．2本文的组织结构 全文按如下章节组织。 第二章：本章回顾了作业管理系统的发展，介绍了传统批处理操作系统、Unix 作业管理蔑统NQS的研究 操作