AppManager_一种基于服务的机群任务管理系统.pdfVIP

AppManager：一种基于服务的机群任务管理系统 叶庆华，肖利民，高文，梁毅，江滢，孟丹 国家智能计算机研究开发中心，中国科学院计算技术研究所，北京2704信箱邮编100080 E-m丑=il：(yeqh，xlm，gw，1wholly,cylindcr’md)@ncic．∞．cn 摘要机群系统以其卓越的性能价格比和良好的可扩展性等因素成为当今并行处理系统的主流方向．然而，其本 身松散耦舍的特性使得其强大的处理能力必须依赖于各种管理软件的支持．本文简要叙述了一种机群任务管理系 种基于服务的体系结构设计．不仅实现了传统的任务管理系统的基本功能，如资源管理，任务调度和监控，而且 提供了许多良好的特性，包括支持应用的广泛性、系统的可扩展性、应用的高可用·|生、算法的可扩展性等等． 关键词任务管理，机群系统．分布式构件．AppManager，ClustOrte 中图法分类号：TP3 文献标识码：A 1．引言 机群系统由于其良好的可扩展性和卓越的性能价格比，成为高性能计算机系统的主流体系结构。如今，机群 技术已经被普遍应用到科学计算、internet网络服务和数据库服务中。 机群任务管理系统作为机群系统的重要组成部分，将系统的分散的资源整合起米，为用户提供了一个单一的 系统映像，使用户感觉在使用一台计算机那样方便，同时能够极大地提高了机群系统的使用率和利用率。它也使 得用户可以在机群系统中配置、提交、监控他们的任务。但是，随着越来越多的应用被移植到机群系统中，机群 系统对任务管理提出了更高的要求。例如．支持应用的多样性，应用的高可用保证等等。为了满足越来越多的应 用的需求，我们殴计和实现了这样一个功能完善的机群任务管理系统—^ppManager。 本文着力刻画了AppManager的设计和实现。在第二节中．我们总结了任务管理系统面临的一些挑战性的需 AppManager及其相关工作，并对今后的工作做了展望。 2．任务管理的需求 任务管理在机群系统中发挥着非常重要的作用。一般来说，它为用户提供了一些工具，方便用户提交、执行 和监控他们在机群系统中的应用程序。但是，随着越来越多的应用被移植到机群系统中，对机群任务管理提fJl了 愈来愈多的需求和挑战。下面我们列出一些主要的需求：[1][2][3][4]， 夺 支持应用类型的多样性：机群任务管理系统必须能够支持各种不同的应用，包括交互式和批处理任务，串 行和并行应用，科学计算和嘲络服务等等。 夺 调度算法的可扩展性：任务管理不仅能够提供多种优化的调度算法供用户选择，提高吞吐率、系统利用率 和用户公平性．还应该提供一种机制，使用户能够根据不同的计算需求修改和替换已有算法，加入新算法。 + 应用的高可用性：任务管理应该保证一些关键应用的高可用性。它能自动探测系统故障，并且恢复相关的 应用到备份系统中。 争 资源的可管理性：任务管理必须能够定义、配置、分配和控制整个机群系统中的各种资源。 夺 任务的可监控性；机群任务管理使得用户可以方便地提交、删除、控制、暂停、恢复和终止他们的任务。 十 系统的高可用性：为了提供一致性的服务，任务管理系统本身应该具有较高的可靠性和较低的故障率．并 且能够从可能的系统失效中恢复。系统的高可用性也是保证应用高可用性的前提条件。 夺 系统的好用性：任务管理系统不但需要提供一个友好的用户界面，使用户方便地使用备种功能，而且应该 允许用户图形界面(GUI)、Internet应用和网格软件通过Internet直接调用该系统的功能。 作者简舟：叶庚华．男，硕士生，主要研究方向为机群操作系统：肖利民，男，博士，副研究员，主要研究领域为离性能计算机体最 结构厦操作系统；高文．女．博士，主要研究领域为机群高可用系统；江滢，女．硕士生，主要研究方向为机群管理：粱毅，女，博士生． 主要研究方向为机群费源管理；盂丹，男，博士．研究员，主要研究领域为高性能计算机体系机构．操作系统 平台的无关性：任务管理系统不能过于依赖底层耵L群系统平台。它应该能够支持多种主流的机群系统．例 如Linux机群。同时，应该考虑支持异构的机群系统。 夺 系统可扩展性：机群任务管理系统应该能够扩展到不同规模的机群系统中，包括功能扩展和性能扩展，即 随着机群系统规模的扩大，功能和性能不应该受到影响。 夺 系统安全性：用户的身份必须得到严格的认证。在系统的各个部件中传送的用户身份和消息必须足安全的， 小能假冒或更改。系统的记账信息必须足真实的，关键数据不能伪装。 尽管有一些系统做了很大