基于CRAB1的集群作业提交和管理系统的研究与实现.pdfVIP

基于CRABl的集群作业提交和管理系统的研究与实现 张晓梅陈良臣 (中科院高能所计算中心，北京100049) 摘要l本文对CRAB系统的体系结构和工作流程进行了深入的研究，鐾承并拓展了CRAB PBS2集群系统上的提交和管理功能，满 的工作模型和接口模式，实现了CMS作业在Open PBS集群和网格上提交和管理大规模CMS作业的需要， 足CMS物理用户基于Open PBS 关键字：CMS CRAB作业提交和管理 Open 一引言 CMS实验是CERN(欧洲核子中心)建造的大型强子对撞机上的四大实验之一，每年 将产生和处理大量的实验数据(PB级)。这种大规模的高能物理计算一般采用网格和本地集 群两种方式．网格方式一般适用于数据源分布在广域网，所需的计算量和数据量较大，而本 地集群方式一般适用于数据源已经存在于本地局域网中，需要对特定的数据集进行多次并细 PBS．SGE等，本文 致的分析．高能物理实验中常用的集群作业管理和调度器有LSF,Open PBS。 采用是开源软件Open 无论是集群还是网格方式，CMS数据处理都是基于数据集。数据集是一组具有相同物 理属性的数据文件的组合。一个数据集可以包含几十个文件到几千个文件。因此如果用户要 对数据集的文件名进行逐个手动划分并拷贝到各个子作业中，可以说是一件很麻烦的事情， 而且容易出错。另一方面，一般数据分析所需要处理的数据量都比较大，为了能加速数据分 析的速度，需要将大作业划分成几十或上百个子作业，要采用手动提交和检查所有这些子作 业的结果，将花费大量的时间。作业提交和管理系统还可以使得用户对网格的操作或调度器 的使用大大简化．CRAB就是CMS实验开发的用于网格环境下的作业提交和管理系统，目 的是简化网格环境下物理用户提交网格作业的过程．虽然CRAB具有对网格作业的提交和 管理功能，但是并没有提供基于OpenPBS的作业提交和管理功能。当前许多高能实验的作 业提交和管理系统都同时提供对网格和集群模式的支持如Atlas实验中的GANGA，使得用 户可以使用同一系统很方便地实现网格和集群模式之间的转换。因此为了方便CMS用户提 交和管理作业，有必要对CRAB进行集群作业提交和管理功能的扩充． 二伽S网格作业提交和管理系统CRAB 2．1 Cl己AB工作流程 CRAB全称Cms Builder，它是安装于网格环境的Ur上的CMS网格作 RemoteAnalysis 业提交和管理工具，大大简化了CMS用户对网格作业的提交和管理过程，使得CMS用户 对网格的使用几乎是透明的。它的最大特点是与CMS实验软件CMSSW以及服务系统DBS， DLS等紧密结合，因此从CMS用户角度，只需要使用下列简单crab命令‘，以及在配置文 件crab．efg中指定输入数据集名，作业分割的粒度以及输出路径等参数，就能在网格环境下 完成网格作业提交，状态的检查以及取回结果： 啪b—讹ate-submit作业数 crab-status crab-getoutput 从蚴角度，需要完成下列流程： ● 作业分割根据crab．cfg中定义的事例分割参数，将作业分割成多个子作业，为它 们建立相应的记录，保留在BOSS数据库’中。 ● 作业创建 作业创建过程就是为每个子作业创建在网格上提交作业所需的文件过 ， 软件运行所需的配置文件，cmssw．sh是该作业在网格上的执行脚本，它将在网格上 16l 创建CMSSW运行环境和准备pseucfg，运行数据处理过程和检查数据结果，将生 成的数据集拷回指定的SE3目录下，最后将数据集注册到DBS系统中；清除临时 文件。jm文件则是网格作业提交所需要的配置文件。如图1所示，这三个文件的