作业管理系统中数据放置子系统设计.docVIP

作业管理系统中数据放置子系统设计 　　摘 要：JobManager作业管理系统是众多作业管理系统中的一员。随着计算机应用的增加和巨大的数据需求，JobManager作业管理系统对数据的放置也提出了更高的要求。提出了JobManager作业管理系统的数据放置问题，并为该问题设计了详细的数据放置子系统体系结构。 　　关键词：作业管理；数据放置；调度；分布式 　　DOIDOI：10.11907/rjdk.162492 　　中图分类号：TP319 　　文献标识码：A文章编号：1672-7800（2016）012-0048-03 　　0 引言 　　JobManager作业管理系统中的数据密集应用对大块I/O的需求越来越大，在广域网中处理和复制大量数据，带来数据放置的可靠性和效率问题。查找、传输、使用和复制数据，数据管理器要在需要的时候对数据进行分配和释放，并在用户使用完数据之后清空所有使用痕迹。 　　数据放置活动是整个JobManager作业管理系统中的关键因素，对数据的访问通常是数据密集应用中的瓶颈[1]。 　　1 数据放置子系统结构 　　JobManager作业管理系统提供了一个数据放置子系统来解决数据放置问题，这个子系统包括数据放置的专业调度程序，一个用于了解数据放置的作业分析器，一个从记录中提取有用信息并给予解释的知识库，以及一些实时优化工具[2]。这种数据放置子系统提供完整的可靠性、用户的抽象能力、在存储服务器上的平衡负载能力和控制网络中的交换能力。 　　在远程作业执行过程中，数据放置是整个作业执行的重要环节。当前解决这个问题的方法是手工或者使用简单脚本，没有任何自动化和容错能力，不适应分布式计算环境的剧烈变化。它们对作业没有权限，作业在整个过程中没有调度。 　　为了解决这些问题，数据放置作业在分布式计算环境中必须像计算作业一样成为第一类作业，它们需要排队、调度、监控和检查。更加重要的是，必须在没有人为干预的情况下成功执行。 　　因此，可为JobManager作业管理系统设计一个数据放置子系统来专门处理数据放置问题。数据放置子系统结构如图1所示。下面对数据放置子系统各模块进行介绍。 　　2 数据放置子系统模块 　　2.1 作业描述 　　在介绍数据放置子系统作业描述之前，有必要介绍JobManager作业管理系统中的作业和作业流，在此基础上，对数据放置作业和计算作业使用不同的作业描述。 　　2.1.1 单元作业（UnitJob） 　　在作业管理系统中，单元作业是可被执行的基本单位。 　　在作业管理系统中，通常需要自动执行一系列作业，如果这些作业满足一定的执行逻辑或者称之为作业依赖关系，那么将这些作业按照一定的依赖关系定制成一个作业流是一种很好的解决方式。 　　作业流在作业管理系统中也称为作业网络，是相互关联的作业形成的一个作业序列。它的基本工作单元是作业。每个作业流都有一个虚拟的开始点和结束点。不含任何作业的作业流叫空作业流[3]。作业流是作业管理系统管理和调度的基本单元，作业不能脱离作业流而单独提交给系统。 　　2.1.2 作业网络图 　　作业流程图又称为作业网络图，是按照一定的逻辑关系将用户定义的作业组织成一个网状图，是作业流的图形表现形式。在作业管理系统中，一个作业流中既包含了多个传统意义上可执行的作业，又包含了作业之间的依赖关系，还有一种关系是作业流之间的依赖关系。作业之间的依赖关系以及作业流之间的依赖关系是作业流参考模型的显著特点，能够大大提升作业流的表达能力和执行能力。 　　2.1.3 结构化作业流 　　在基于作业流的作业管理系统中，可以构造出各种复杂的作业网络，以更好地控制作业的执行顺序。本文所研究的作业管理系统中，可以使用相关作业表示出顺序、条件/分支、循环3种基本的执行结构，形成结构化作业流。 　　（1）顺序。作业执行顺序是前后关系，前一作业执行完毕，后一作业再开始执行，见图2。 　　（2）条件/分支。条件/分支根据执行条件决定作业网络的执行走向，见图3。 　　（3）循环。循环执行类似于程序语言中的do-while。利用跳转作业来指定要循环执行的目标作业及重复次数，见图4。 　　obManager作业管理系统中的数据密集应用需要从远程站点到执行站点移动输入数据，执行作业，然后将输出数据从执行站点移动到原来或者是另一个远程站点。如果不希望在执行站点出现用尽磁盘空间情况，就需要在传输数据前分配空间，并且在移动输出数据后释放空间。 　　作业描述模块需要将这些计算和数据放置步骤使用不同的作业描述。将原来一个单元作业分解为计算作业和数据放置作业的集合，以便对数据放置作业进行下一步操作。 　　2.2 作业分析器 　　作业分析器获得用户定义的作业描述后，将