Castor海量数据预留系统 - 科学院高能物理研究所.ppt

GRASS文件预留系统 黄秋兰/高能所计算中心 2010-08-17 主要内容 项目背景及意义 系统设计与实现 系统的关键技术 总结与展望 项目背景 GRASS（Grid-enabled Advanced Storage System）是异构介质的分级存储系统 GRASS文件预留系统的处理对象是GRASS中的海量数据 GRASS文件预留系统是BES数据管理系统的有机组成部分 解决的问题 存在问题 GRASS的迁移策略：存储池水位和迁移时间间隔（系统级的因素） 没有全面考虑用户的使用模式与需求 采取的措施 基于用户级的数据迁移，生成用户指定的文件预留列表 ，根据预留列表将用户预留的文件保存在磁盘上 避免用户频繁访问的数据迁移到磁带库，从而提高数据访问速度 系统总体设计 GRASS文件预留系统----C/S形式 使用形式： reserve 命令参数 [--dataset] 文件名/数据集名 命令参数： -q 查询预留信息 -c 修改预留天数 -r 预留文件 -d 删除预留文件 注：支持正则表达式 File1*,file2?,…,file[x-y] (其中*、？、[x-y]位置任意) GRASS文件预留系统----B/S形式 子模块设计 功能实现----用户登录界面 功能实现----主页显示 功能实现----GRASS系统的目录信息 功能实现----预留信息修改 用户可以对选定的预留信息进行修改，默认的预留天数为30 功能实现----预留信息浏览 关键技术----AFS用户登录 采用AFS账号登录认证,实现与整个集群环境的有机整合 无需对用户管理，节省资源 后台实现调用AFS用户认证的klog命令获取tokens 关键技术----Ajax技术的使用 关键技术----Ajax技术的使用 GRASS目录树的实现 采用AJAX技术动态构造目录树，服务器无需一次将海量数据装载到WEB浏览器，这大大缩短服务器的响应时间。 预留所有对象按钮的实现 在用户发出请求时，后台才处理nsls –l filepath命令，获取filepath下的所有文件，无需每次装载页面时处理，大大缩短WEB页面与服务器的交互时间 关键技术----GRASS文件分页显示 自定义的分页 提出的原因：当目录下文件数目太多时，nsls、nslisttape等命令反应太慢 解决的方法：重新编写GRASS文件显示命令，每次只返回一个页面的记录数 ，无需将所有记录数返回给WEB前端，解决文件数目太多（成千上万个）显示慢的问题。 使用方法：myls –s startN –e endN(仅返回endN-startN+1条记录) 运行结果 性能上已基本满足应用需求 利用Mercury LoadRunner 8.1测试软件进行测试 模拟不同的用户量进行并发测试：10，50，100，500，800等 测试结果显示，目前系统在400到500个用户并发访问下是稳定的 测试环境已部署 :8080/FileReserve/main.jsp 小结 本系统旨在解决GRASS分级存储系统的迁移策略存在的问题，实现面向用户的数据迁移，提高用户访问数据的速度。主要实现的功能有： 实现命令行和图形界面两种用户接口 实现WEB界面上的动态目录树构造，便于浏览GRASS系统的海量数据 重写GRASS数据显示命令，从而解决文件数目多，服务器反应慢的问题 实现基于文件、数据集以及磁带的预订 实现预留信息的浏览、修改、删除、批量预留、批量修改及批量删除功能 实现AFS、GRASS及LUSTRE的有机结合 具有良好的通用性和扩展性，是较好的海量数据管理软件的辅助工具。 本系统正在申请软件著作权。 谢谢大家！ * * 为高能所计算中心的GRASS系统提供服务，改进GRASS系统的数据迁移功能，实现面向用户的数据迁移，从而提高用户访问数据的速度。 系统的WEB形式主要基于Structs+Hibernate+Mysql框架开发 显示当前的登录用户 功能实现----GRASS数据操作 Browse dataset hierarchy Cancel Reservation Reservation Submit Transfer Request Submit Del data Replica Select a destination site search your data 未使用Ajax和使用Ajax的WEB比较