支持AFS环境的批作业管理系统PAFSI的研究与实现.pdfVIP

支持AFS 环境的批作业管理系统PAFSI 的研究与实现 黄秋兰，Fabio Hernandez，石京燕，程耀东，陈刚 中国科学院高能物理研究所计算中心 100049 摘要：采用TORQUE+Maui 作为作业管理系统，以及AFS 作为共享文件系统是实现大规模 集群系统的常用技术之一。但是，目前在AFS 环境中向TORQUE 提交作业还存在一些问题。 由于AFS 系统采用Kerberos 认证机制，每个AFS tokens 具有有限的生命周期，当作业运行 时间大于tokens 的生命周期时，用户无法写回AFS 系统。鉴于PBS 的不足和AFS 系统读 写认证的特殊性，本文设计了支持 AFS 环境的批作业管理系统 PAFSI （PBS and AFS Integration ），有效地弥补了传统作业管理系统的不足，保证用户在 AFS 的用户目录下提交 的各种作业，都能正确的将数据写回用户的AFS 目录。本文首先介绍了传统的作业管理系 统的特点及AFS 读写认证的特殊性，接着给出PAFSI 系统的基本架构，并详细阐述了系统 的设计和实现。 关键字：BES ，Torque PBS，AFS ，批作业管理系统 一、 引言 高能物理的作业是典型的数据密集型任务，为了提供高效的计算平台，高能所计算中心 已将计算资源整合，搭建了统一的集群计算平台。集群系统具有低成本、高性能的特性，提 供了强大的批处理和并行计算能力，代表了高性能计算机发展的方向。目前该计算平台已达 到5000 个CPU cores 的计算规模。批作业管理系统可以根据用户的需求，作为集群系统软 件的重要组成部分，统一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群 资源，提高系统利用率和吞吐率。因此，集群作业管理系统已成为高性能计算的一个热点问 题。高能所计算中心采用了自主优化的批作业管理系统 TORQUE （Tera-scale Open-source Resource and QUEue manager ）+Maui[1]实现计算集群作业的调度管理，为用户提供稳定的 作业管理调度服务。 Torque PBS 完全支持工作在采用标准UNIX 用户认证的共享文件系统中，比如NFS 、 Lustre 等，但不支持工作在 AFS （Andrew File System ）环境中。这是由于 AFS 系统采用 Kerberos 认证机制，而每个AFS tokens[2]具有有限的生命周期，当作业运行时间大于tokens 的生命周期时，用户无法将作业运行结果写回AFS 目录。鉴于PBS 的不足和AFS 系统读写 认证的特殊性，本文设计了支持 AFS 环境的批作业管理系统 PAFSI （PBS and AFS Integration ），有效地弥补了传统作业调度系统的不足，保证用户在AFS 的用户目录下提交 各种作业类型，都能正确的将运行结果写回用户的AFS 目录。 二、 系统介绍 高能所计算中心的用户管理和认证都采用AFS 认证管理，实现与整个集群环境的有机 整合。这就要求PBS 能工作在AFS 环境中。支持AFS 环境的批作业管理系统PAFSI 主要 是为了解决用户从AFS 目录提交作业，将运行结果无法写回AFS 目录的问题。系统设计的 初衷主要是为实现集群用户的统一管理，保证用户的HOME 目录都在AFS 系统上，一方面 方便系统管理员管理，另一方面更好的为高能物理学家提供计算服务。 Computing Cluster Login Farm Work node1 node1