BESⅢ分布式计算的元数据管理的研究.pdf

BESIII 分布式计算的元数据管理研究 中文摘要 BESIII 分布式计算的元数据管理研究 中文摘要 北京谱仪III (BESIII)高能物理实验产生PB 量级的实验数据，海量数据的处理和 分析对计算资源和存储资源提出了强大的挑战。为此，中科院高能物理研究所于2011 年开始搭建 BESIII 分布式计算环境，以整合异构计算资源，解决现存资源短缺的问 题。BESIII 分布式计算通过元数据检索千万数量级的分布式文件。为了有效管理和使 用元数据，实现对所需文件存储地址的定位，本文对元数据管理进行了研究。主要研 究内容如下： (1) 根据BESIII 实验和用户需求，综合考虑分布式计算的整体结构和系统性能等 因素，得出系统的基本功能需求。根据功能需求，对文件的元数据模型及系统的整体 架构进行设计，并基于中间件软件，采用树型目录结构、动态构建物理文件名和虚拟 数据集等技术实现了系统的各功能模块。该系统已被应用于实验数据分析和处理，测 试结果表明其性能能够满足实验需求。 (2) 针对用户对文件的访问具有区域集中性的特点，提出了一种基于 MySQL