异构集群系统下作业调度系统HGLSF的设计与实现.pdfVIP

异构集群系统下作业调度系统HGLSF 的设计与实现 1 1 2 苏飞 ，白中英 ，赵金雁 1. 北京邮电大学，北京 （100876 ） 2. 中国气象局国家气象卫星中心，北京 （100081 ） E-mail ：sufei7099@ 摘 要：通过对目前流行的集群作业调度软件LSF 进行扩展,设计并实现了一个异构集群作 业调度系统HGLSF 。该系统能够充分发挥LSF 的调度性能，解决了卫星应用系统大作业量 的处理问题。根据调度进程实时生成的计划，合理有效的对用户作业进行调度分配。 关健词：LSF；异构集群系统；HGLSF；卫星应用系统 1. 引言 随着网络技术的发展和对计算机能力需求的不断提高，集群系统的研究已经成为了人们 关注的焦点。目前，集群系统已经成为高性能计算的主流，而集群作业管理则是保证集群高 效工作的关健。作为集群系统软件的重要组成部分,集群作业管理可以根据用户的需求,统一 管理和调度集群的软硬件资源,保证用户作业公平合理地共享集群资源, 提高系统利用率和 吞吐率。现有的一些集群调度管理系统[1] ，具有代表性的如OpenPBS 、CONDOR 、LSF 、 LOAD2LEVELER,其中OpenPBS、CONDOR 是研究产品,LSF、LOADLEVELER是商业软件。 比较各个系统，都不同程度的存在优缺点，如OpenPBS和CONDOR 同属于研究产品， OpenPBS提供了灵活的调度策略和用户的身份认证机制，但CONDOR则比较全面地实现了 检查点的操作，LSF 的使用范围广，支持跨机群资源共享和动态资源发现、预约和分配等特 点。我们对这几大主流软件从公司开发背景、技术性能、可靠性、可用性等多方面进行了较 全面的分析比较，得到的结论是，加拿大platform公司的负载共享软件LSF从可靠性、实用 性、技术性能等综合角度考虑，更加适用于业务系统。但由于卫星地面应用系统的流程的实 时性，数据量大等特点，仍然需要在LSF基础平台对作业调度进行二次开发，设计并实现了 一种基于XML作业流程的作业调度策略。 2. 系统结构 该系统主要分为四大部分:业务流程调度管理机、作业运行控制机、资源管理机、调度 数据库；其中业务流程调度管理机是整个作业调度系统与外界的接口，外界通过时间或者事 件触发一条轨道资料的处理，由业务流程调度管理机负责解析，提交作业流/作业到作业运 行控制机，作业运行控制机负责将承担不同任务的作业根据特定的作业调度策略派发到符合 作业要求的各个计算机节点上去运行，同时与资源管理机不断交互，以便及时的获得节点状 态信息，从而不断的调整调度方案，做到高时效性、高可靠性的合理调度。调度数据库贯穿 于整个作业调度过程的始末，它用来存储每日计划生成模块运行产生的具体作业接口记录、 作业步配置记录和XML 文件，实现各种状态的实时记录入库和事后分析。系统的结构总体 架构如图1 所示： - 1 - 图1 作业调度系统总体架构 Fig1 The overall Framework of Job Scheduling System 3. 系统实现 本系统是在Unix/Linux环境下,利用面向对象C++语言开发实现。大量使用了XML[2]技 术，利用开源XERCES解析器对XML流程文件进行解析。同时，也使用了LSF 自带的API进 行了二次开发，针对业务需要，对LSF进行了相应的扩展。 3.1 业务流程调度管理机 业务流程调度管理机主要的功能是调度计划的管理和作业流程的提交，主要包括实时主 调度执行器、实时调度计划生成器、定时调度执行器、定时调度计划生成器四大功能模块； 3.1.1