CMS北京网格站点数据管理系统的研究和实现.pdfVIP

CMS北京网格站点数据管理系统的研究和实现 张晓梅阎小飞 (中科院高能所计算中心，北京100049) 摘要：数据管理是CMS网格建设的重要组成部分，本文首先介绍了CMS网格数据管理系 统1及其数据流的实现。然后详细分析了作为CMS网格数据管理系统一部分，北京T2站点 (T2_CN_Beijing)的数据管理，重点介绍了北京站点数据存储系统和数据传输系统的实现。 T2 关键字：网格CMS CN_Beijing数据管理 一引言 CMS实验是CERN(欧洲核子中心)建造的大型强子对撞机上的四大实验之一．CMS Muon 实验全称是CompactSolenoid，得名于它的探测器拥有世界上最大的超导线圈磁铁。 CMS实验的主要物理目标是发现预言的Higgs波色子，测试各种当今未被证明的物质结构 模型以及在LHC能量区发现未被预言的新物理现象。由于Higgs波色子出现的几率很小， 大约10，000，000，000。000的碰撞才能发生一次。因此CMS实验的在线获取的数据量是海量 的，每秒大约产生100MB，每年的数据达到PB级，如此大的数据量对计算资源和存储资源 要求面临前所未有的挑战。有效地利用分散资源，提升资源应用效能，成为解决问题的唯一 可行途径。现在兴起的数据网格计算便是在全球物理学家之间有效实现巨大分布式计算资源 协作的可行性机制。 CMS网格系统模型2采用层次结构，将分布在全球各区域互联网上的计算和存储资源 连接起来，组成五层数据网格(TO，T1，T2．T3，T4)。在这个模型中，各层数据网格资 源实现了各自不同的功能。T0层，位于CERN，它的主要功能是从CMS在线获取系统接收 数据，进行分类、快速重建等初步处理后进行存储。Tl层，分布于CMS实验合作国家的大 型实验室，在这里将进行数据分类，进一步重建，刻度，数据扫描等数据密集型分析任务． T2层，相对于Tl层，规模小，但拥有相当的计算资源和一定的存储资源，有能力进行数据 分析，刻度以及MonteCarlo模拟。T3层，一般是大学物理系或高能物理研究小组，为本地 物理学家提供获取网格服务的交互资源，或尽可能提供一些计算资源。T4层是一些终端用 户通过移动设备如笔记本来使用网格资源。 二北京网格站点简介 CMS北京网格站点是CMS网格系统中的一个组成部分，位于T2层，注册名为 CN T2_CN_Beijing。作为CMS网格系统中的亿层，T2Beijing负责提供相当数量的CPU 资源和存储资源，以及足够的网络资源，来满足CMS实验对T2层的基本功能要求，包括 Carlo数据产生过程和物理分析数据处理过程。当前北京站点拥有 完成快速而细致的Monte 20个双CPU双核的IBM3650服务器，可以提供80个数据处理作业同时运行。在存储方面， 使用dCache存储系统，拥有20TB的存储容量。网络方面，通过与中科院网络中心的协调 与合作，与欧洲，美国建立了1Gb／s的WAN链路。虽然北京站点的CPU资源和存储资源 还比较欠缺，但是已经可以满足基本的网格系统的运作需求。 三CMS数据管理 在CMS实验中，数据处理过程一般是对于一组具有相同物理属性的数据文件集合进行 的，而不是单个文件，该种数据文件集合称为数据集，因此CMS网格的数据管理是基于数 据集的。这种方式大大方便了用户对数据的使用，也提高了管理效率。从数据类型上看，数 据管理可以分为事例数据管理和非事例数据管理。事例数据是指包含物理事件(event)数 据的文件，一般每个文件所含数据量较大(通常大于1GB)，例如AOD数据，RECO数据， RAW数据。非事例数据一般是指对事例数据处理中所需的刻度，修正等辅助性数据，一般 数据量小。 750 CMS网格对数据管理采用分布式和集中式相结合的方式。也就是说，数据管理系统分布 于CMS网格系统的各个层次及各个站点，它们在中心系统的统筹和协调下相互配合构成一 个完整数据管理系统。 3．1CMS数据管理系统 CMS数据管理系统主要包括数据集查询系统(DBS)3p数据集定位系统(DLS)，数据 集传输系统(DTS)，数据集存储系统(DSS)，非事例数据的存取系统(DAS)。用户可以 根据数据集的各种属性包