地震资料处理并行作业调度研究及实现.pdfVIP

地震资料处理并行作业调度研究及实现 董 涛 李占强 邢占军 孙世为 刘玉梅徐香明 董倩 (中国石油化工股份有限公司胜利油田有限公司物探研究院) 摘要 随着地震资料处理技术的发展，并行运算技术的应用越来越普及。为了提高系统 资源的利用率，高效合理的调度、监控并行作业，研究分析了并行作业的运行方式和特点，指 出了现有并行作业调度的缺陷，提出了可行的解决方案。选择Java、脚本、C语言等软件作为开 发工具，达到软件移植性好、高效、可靠的目的，实现了OMEGA作业的调度和监控。 关键词地震资料处理并行作业调度集群管理监控 1引言 1．1研究背景 行作业，但对系统资源的要求不尽相同。通常每个处理中心都会有多种类型的微机集群系 统，根据其节点的特点和处理系统的要求，把每个节点划分到不同的地震资料处理系统 中去。 不同而变化。为了保证系统资源使用的均衡，要根据生产任务的变化，动态的划分每个处理 系统使用的资源。 在相同的应用系统中不同类型的并行作业对系统资源的要求也不尽相同，因此，对同一 应用系统所用的节点，再根据节点的特点和并行作业的需求对节点做进一步划分。 在日常的处理中每个节点既能运行串行作业也能运行并行作业。并行作业需要各个子进 程间的同步，如果运行并行作业的各节点的负载相差很大，势必造成某些节点等待的状态。 根据每节点的运行状态确定各节点负载，把负载相近的节点分配给同一个并行作业，最大可 能的保证并行作业同步，提高资源的利用率。 不同的处理任务对时间的要求不同，根据生产的需要，对时间紧工作量大的处理任务， 分配高优先级，使它们能够在最短的时间内释放到系统中运行，对于其他作业分配相同的优 先级。 根据前面的分析，研究设计方法，为并行作业分配最合理的节点，最大可能的保证并行 作业子节点同步，提高资源的利用率。 1．2并行作业调度管理现状 并行作业运行时，提供作业的运行状态，能够方便用户的使用，主要包括并行作业占用 的资源、运行作业的各节点的负载、每个子进程的状态、进程间的同步情况等。 并行作业由于某种原因可能中断，大部分的作业能够释放它所占用的资源，也有部分作 ．--——601．--—— 业不能完全释放他所占用的资源。这就要求我们随时跟踪并行作业，保证在其失败时是能够 释放它所占用的资源。 现有的并行作业管理方式在实际应用中有许多困难，应用和管理人员使用起来相当繁 琐。对今后大量的并行应用如叠前深度偏移等造成很大的困难。研究开发一套集并行作业提 交、运行、管理于一体的软件，使之适合实际生产的应用，且利于推广。这就需要研究各软 件的接口程序、并行支持环境MPI和PVM的实现机理等内容，并开发出实用的并行作业 管理程序。 1．3国内外现状 工作的管理系统，为用户提供统一的系统界面；为用户访问所有网络范围内计算机资源提供 透明服务，通过采用高级批处理系统，LSF确保了用户工作效率最高，批处理作业、交互 作业和并行作业最快，以及计算资源运用最优；为用户创造了基于网络的虚拟超级计算机系 统。LSF通过负载的调度、分析和监控三条途径，来处理管理开放的分布式计算资源的挑 战。由于Platform LSF提供的强大，有效，全面，操作简洁的作业管理服务，使企业计算 机网的各种资源得以充分全面地被利用，从而提高了作业执行质量，加速了各种实验的完成 速度，进而提高了企业产品的质量。LSF可适用于数以千计的系统及实际作业，同时提供 加强功能，使LSF能有效管理复杂的计算工作。 有如下几个应用特点；很好的作业实时调度方式，不会阻塞。LSF的调度策略主要分为 First FCFS(First Coming 多基于PVM运行的作业会产生垃圾进程和文件，影响节点的正常使用；全局选节点，不固 定范围；管理软件错误恢复功能；LSF的收费主要包括几个方面：计算节点收费、服务节 点收费；它可以通过MPI管理并行作业，并不是选择节点方式；浮动许可证管理；LSF可 以在多个平台上运行。LSF的收费非常高，如果现有的处理软件升级后，LSF也必须结合 升级，限制了其应用。 1．4研究方法和目标 并行作业调度的关键是系统资源的划分和各种并行作业对资源的要求，因此我们要从这