GRASS文件预留系统的设计和实现.pdfVIP

GRASS文件预留系统的设计与实现 黄秋兰，朱随江，程耀东，陈刚 中国科学院高能物理研究所计算中心100049 Advanced 摘要：GRASS(Grid．enabled StorageSystem)分级存储系统主要负责提供海量数据的分级存 储管理和数据迁移功能。目前，GRASS系统的数据迁移仅包含存储池水位、数据迁移时间间隔等系统 级别的策略，而缺乏针对文件的精细控制。针对该问题，本文设计了GRASS文1j，|：预留系统，实现基丁 用户级的数据预留，目的是为了高能物理的研究人员可以根据需要将自己指定的文件预留在磁盘上， 从而避免自己要访问的文件被迁移到磁带库中去，从而提高刚户访问数据的速度。本文首先介绍了 GRASS系统，并给出了GRASS文件预留系统的基本架构，接着详细阐述系统的设计和实现，最后给 出了系统的运行结果及测试分析。 关键字：BES，GRASS，数据迁移，分级存储管理 一、 引言 ElectronPositron 北京正负电予对撞机BEPCII(Beijing CASTOR(CERNAdvanced StorageManager)【l】【2】存储管理软件，并在此基础上自主集成和开发了基 Advanced 于异构介质的分级存储系统GRASS(Grid．enabled StorageSystem)，将磁盘、磁带等不同存 StorageManagement)和透明访问，能够轻松满足PB级数据存储与每秒数GB级访问速度的需求。 目前GRASS分级存储系统具有5PB的存储能力，已存放超过1PB的数据。GRASS的迁移策略主 要考虑系统级的因素，包括存储池水位、迁移时间间隔等，并没有会面考虑用户的使用模式与需求， 这对用户使用来说不是很方便，从而经常出现将用户频繁访问的文件迁移到低速存储区，造成数据访 问率低的现象。针对此现象，本文设计和实现了GRASS文件预留系统，实现基于用广l级的GRASS系 统的数据预留，为数据迁移提供预留列表，目的是为了高能物理的研究人员可以根据需要将自己指定 的文件预留在磁盘卜，从而避免系统将这些文件迁移到磁带库中去，进而提高用户访问数据的速度。 二、 系统介绍 系统的数据迁移功能，实现而向用户的数据迁移，提高用户访问数据的速度。 582 骂； 邕： 翻lGRASS立件撷目系％镕目目 体的体系结构如图I所示。系统根据用户指定进行预留．并将预留信息保存在服务器端的MySQL数 据库中．同时在服务器端定时运行预留列表生成模块．生成文件预留州表。预留列表的信息包括预留 对象名称(文件名、数据集名及磁带号)和预留时间(以犬为单位)。 二、 象统设计与实现 为了满足不同的崩户群，系统实现C／S利B／S两种形式。命令行形式的系统需要用户指定参数类 型，因此对输入格式有明确的要求。WEB形式涉及到WEB界面交互，必须对界面的显示、系统响应 时间等加吼考虑。 3I命令行形式的实现 系统的命令行彤式实现，类似Linux系统的劂有命令，操作简单。用户根据需要指定命令参数， 完成相应功能。用户运行命令行时，对用户的输入格式有合法性检验．具体包括命令参数检验和文件 信息榆骗。命令参数榆验j：要是判断用户指定的参数是否存在，若不存在给出相应的提示信息，而文 件信息检验，0-要是对检验文件输入是否合法．判断文件是否存在，若输入错误给出相应的错误提示。 命令行形式的使用方式为Ⅲ㈣命令参数[矗dala州】文件名／数招集名，同时对输入数据实现通 配符匹配，如filel*，file27，．．，file[xy](兑中}，7．[x—Y]位置任意)。其体的命令参数有：一q(查 询预留信息)；一c(修改顸留天数)：-r(预留文件)；一d(删除预留文件】。 3．2WEB形式的实现 键技术有：(】)AFs用户登求认证。实现与整个集群耶境的有机整合：(2)A