利用PBS系统定制勘探数据处理作业管理.pdfVIP

2013 年物探技术研讨会文集 利用PBS 系统定制勘探数据处理作业管理 邹 杰 许 涛 林 茂 （新疆油田勘探开发研究院地球物理研究所，新疆,乌鲁木齐 830013） 摘要 高性能集群已经逐步成为科学计算必不可少的辅助工具，然而由于其体系结构的限制，高性能集群应 用对科研人员而言是一个非常困难的事情。要想利用好集群系统，科研人员除了需要掌握其需要开展工作的 技术知识外还必须认真了解集群工作原理和集群系统运行知识。为提升集群易用性，提高集群在生产科研中 的应用深度和应用效率，需要为用户提供方便使用计算节点的技术手段，作业调度系统就是的其中一种方法。 PBS 作为一种开源的队列管理和作业调度系统，目前已经广泛应用于集群管理当中。笔者根据所在企业集群 工作模式的实际情况，利用PBS 系统进行必要的定制开发工作，在较少改变科研人员工作习惯的前提下实现 Paradigm 公司 EPOS 处理系统集群队列管理和作业分发管理。 关键词 计算机集群 PBS 勘探处理 队列管理 作业调度 行计算机，即所有CPU 资源和存储资源由一个操 1 前言 作系统进行管理的形式，集群中每一个计算节点 随着计算机技术的不断进步，PC 集群逐步成 运行各自的操作系统，管理各自的各种系统资源。 为科学计算最重要的辅助工具。高性能计算集群 计算节点运行状态是由计算节点独立控制的，一 广泛应用与各种需要高速数据处理的生产、科研 个并行作业完成情况是由每个参与计算的计算节 活动当中。作为目前“大数据高速处理需求”最 点、网络环境、共享存储共同决定的。在这种情 有代表性的一项工作，计算机集群石油勘探地震 况下，集群应用对处理用户而言是“难用难管”， 资料数据处理工作已经普遍采用计算机集群作为 处理人员如果想要让自己的并行作业高效正常完 主要辅助工具和应用平台。各种处理软件公司针 成，需要提前对参与作业计算的计算节点状态进 对PC集群应用纷纷推出了MPI 并行编程技术实现 行系统检测，了解各自运行状态，剔除一些不适 的处理应用平台、特色处理模块。而国内众多的 用的计算节点。如果并行作业需要使用的计算节 勘探处理公司日常工作模式就是选择这些成熟的 点较多时，这项工作将耗费处理人员很多的时间 处理应用平台，结合各自独有的特色技术利用PC 和精力。对计算节点的检查同样也对处理用户的 集群对地震勘探野外原始数据进行处理计算。集 计算机应用知识掌握程度提出了更高的要求。 群技术的发展使得过去很多存在大量复杂、高精 另一方面，石油勘探数据处理并行作业需要 度大数据计算需求而无法投入生产的计算方法应 处理的数据量通常很大，需要计算节点长时间、 用成为可能，有效地促进了油气勘探数据处理技 连续高速运行。一个大规模的处理作业运行持续 术的 进步。 时间通常会在一周左右。大批量计算机同时连续 集群技术是一项计算机集成技术，它是将诸 高速运行时很难保障每个节点都不会发生问题。 如高速组网、高密度刀片服务器、高速并行存储 笔者单位过去处理并行作业时，经常会因为某一 等多种最新颖的计算机技术按照一定配比关系合 个计算节点出现问题导致作业延误或最终失败， 理配置形成一个计算机体系。简单的说，PC 集群 另一方面某个低效的计算节点出现，将导致整个 就是利用