Castor海量数据预留系统 - 科学院高能物理研究所.ppt

Castor海量数据预留系统 - 科学院高能物理研究所.ppt

  1. 1、本文档共21页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Castor海量数据预留系统 - 科学院高能物理研究所.ppt

GRASS文件预留系统 黄秋兰/高能所计算中心 2010-08-17 主要内容 项目背景及意义 系统设计与实现 系统的关键技术 总结与展望 项目背景 GRASS(Grid-enabled Advanced Storage System)是异构介质的分级存储系统 GRASS文件预留系统的处理对象是GRASS中的海量数据 GRASS文件预留系统是BES数据管理系统的有机组成部分 解决的问题 存在问题 GRASS的迁移策略:存储池水位和迁移时间间隔(系统级的因素) 没有全面考虑用户的使用模式与需求 采取的措施 基于用户级的数据迁移,生成用户指定的文件预留列表 ,根据预留列表将用户预留的文件保存在磁盘上 避免用户频繁访问的数据迁移到磁带库,从而提高数据访问速度 系统总体设计 GRASS文件预留系统----C/S形式 使用形式: reserve 命令参数 [--dataset] 文件名/数据集名 命令参数: -q 查询预留信息 -c 修改预留天数 -r 预留文件 -d 删除预留文件 注:支持正则表达式 File1*,file2?,…,file[x-y] (其中*、?、[x-y]位置任意) GRASS文件预留系统----B/S形式 子模块设计 功能实现----用户登录界面 功能实现----主页显示 功能实现----GRASS系统的目录信息 功能实现----预留信息修改 用户可以对选定的预留信息进行修改,默认的预留天数为30 功能实现----预留信息浏览 关键技术----AFS用户登录 采用AFS账号登录认证,实现与整个集群环境的有机整合 无需对用户管理,节省资源 后台实现调用AFS用户认证的klog命令获取tokens 关键技术----Ajax技术的使用 关键技术----Ajax技术的使用 GRASS目录树的实现 采用AJAX技术动态构造目录树,服务器无需一次将海量数据装载到WEB浏览器,这大大缩短服务器的响应时间。 预留所有对象按钮的实现 在用户发出请求时,后台才处理nsls –l filepath命令,获取filepath下的所有文件,无需每次装载页面时处理,大大缩短WEB页面与服务器的交互时间 关键技术----GRASS文件分页显示 自定义的分页 提出的原因:当目录下文件数目太多时,nsls、nslisttape等命令反应太慢 解决的方法:重新编写GRASS文件显示命令,每次只返回一个页面的记录数 ,无需将所有记录数返回给WEB前端,解决文件数目太多(成千上万个)显示慢的问题。 使用方法:myls –s startN –e endN(仅返回endN-startN+1条记录) 运行结果 性能上已基本满足应用需求 利用Mercury LoadRunner 8.1测试软件进行测试 模拟不同的用户量进行并发测试:10,50,100,500,800等 测试结果显示,目前系统在400到500个用户并发访问下是稳定的 测试环境已部署 :8080/FileReserve/main.jsp 小结 本系统旨在解决GRASS分级存储系统的迁移策略存在的问题,实现面向用户的数据迁移,提高用户访问数据的速度。主要实现的功能有: 实现命令行和图形界面两种用户接口 实现WEB界面上的动态目录树构造,便于浏览GRASS系统的海量数据 重写GRASS数据显示命令,从而解决文件数目多,服务器反应慢的问题 实现基于文件、数据集以及磁带的预订 实现预留信息的浏览、修改、删除、批量预留、批量修改及批量删除功能 实现AFS、GRASS及LUSTRE的有机结合 具有良好的通用性和扩展性,是较好的海量数据管理软件的辅助工具。 本系统正在申请软件著作权。 谢谢大家! * * 为高能所计算中心的GRASS系统提供服务,改进GRASS系统的数据迁移功能,实现面向用户的数据迁移,从而提高用户访问数据的速度。 系统的WEB形式主要基于Structs+Hibernate+Mysql框架开发 显示当前的登录用户 功能实现----GRASS数据操作 Browse dataset hierarchy Cancel Reservation Reservation Submit Transfer Request Submit Del data Replica Select a destination site search your data 未使用Ajax和使用Ajax的WEB比较

文档评论(0)

wangxing1张 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档