高能物理网格数据管理关键技术研究.pdfVIP

第 24 卷第 10 期 计 算 机 应 用 研 究 Vol. 24 No. 10 2007 年 10 月 Application Research of Computers Oct. 2007 高能物理网格数据管理关键技术研究 * 程耀东, 刘爱贵, 陈 刚, 于传松 ( 中国科学院 高能物理研究所计算中心, 北京 100049) 摘 要: 首先概要介绍高能物理网格的需求和发展, 然后对其中数据管理的关键技术进行深入分析和探讨, 包 括名字服务、数据复制管理、数据传输、海量存储系统、用户访问接口等。最后 , 介绍一个用于高能物理网格数据 管理的文件系统原型设计。 关键词: 高能物理; 网格计算; 数据管理 中图分类号: TP393 文献标志码: A 文章编号: 1001- 3695( 2007) 10- 0020- 03 Research on key data management technology in high energy physics grid CHENG Yao-dong, LIU Ai-gui, CHEN Gang, YU Chuan-song ( Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China) Abstract: The paper introduced the requirements and development of high energy physics grid, then analyzed and discussed the key technology of data management, including name service, data replica, data transfer, mass storage system, user inter- face and so on. The prototype design of a file system used in data management of high energy physics grid was presented. Key words: high energy physics; grid computing; data management 随着高能物理实验规模的不断扩大和实验复杂性的不断 要对此进行分析, 并且必须保证这些数据在 15 a的生命期内可 增加, 会产生越来越多的数据, 预计到 2010 年, 世界高能物理 被利用。到 2008 年底, WLCG 将覆盖 35 个国家的 500 多个研 的实验数据将达到 100 PB, 并在以后的几年中超过 1 000 PB。 究机构, 将超过 20 万台计算机的计算资源整合在一起。 这样庞大的数据使得高能物理的计算环境面临着许多新的挑 WLCG 按分级机构来组织计算环境, 分为五层: 第一层是 战, 即海量的数据存储能力、超强的计算能力、高速的网络互联 以 CERN 为中心的 tier-0; 第二层是以国家 /地区为中心的 tier- 技术及大规模分布式的协同处理机制。为了迎接这些挑战, 目 1;第三层是以国家 / 地区为中心的 tier-2; 第四层是以国家研究 前高能物理计算领域内一些顶级的科研机构正在积极研究和 机构为中心的 tier-3; 第五层是以物理学家为中心的分析平台。 应用网格计算技术[ 1] 。 WLCG 体系结构和 LHC 计算模型