- 1、本文档共17页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
支持环境的批作业管理系统黄秋兰高能所计算中心主要内容系统研究背景及意义系统设计与实现系统部署与评价总结与展望集群系统概况登录节点作业管理系统计算节点分布式文件系统探测器集群磁盘池磁带库系统网格作业管理系统的问题系统方面采用认证每个的生命周期有限默认小时作业管理系统完全支持工作在采用标准用户认证的共享文件系统中比如等但不支持工作在环境中无法保证用户从的目录提交作业的运行结果写会用户的目录管理方面目前集群的所有用户管理和认证都采用认证管理系统管理需要同时提供和系统的在线服务不是长久之计如何解决方案一
支持AFS环境的批作业管理系统 黄秋兰/高能所计算中心 Fabio Hermandez/IN2P3-CC 2011-07-06 主要内容 系统研究背景及意义 系统设计与实现 系统部署与评价 总结与展望 集群系统概况 登录节点 作业管理系统 计算节点 分布式文件系统 AFS NFS Lustre 探测器集群 磁盘池 磁带库 GRASS系统 网格 作业管理系统的问题 系统方面 OpenAFS(Andrew File System)采用Kerberos认证,每个AFS tokens的生命周期有限(默认25小时) 作业管理系统Torque 完全支持工作在采用标准UNIX用户认证的共享文件系统中,比如NFS、Lustre等,但不支持工作在AFS环境中。Torque无法保证用户从AFS的HOME目录提交作业的运行结果写会用户的HOME目录 管理方面 目前集群的所有用户管理和认证都采用AFS认证管理 系统管理需要同时提供AFS和NFS系统的在线服务,不是长久之计 如何解决? 方案一:放弃AFS系统,所有用户目录$HOME都采用NFS 软件库的共享及并发访问问题,如BOSS软件的Gaudi库等 方案二:集成Torque和AFS,使作业管理系统支持AFS环境 集群可以不提供NFS服务 保证用户在AFS的用户目录下提交各种作业类型,都能正确的将运行结果写回用户的AFS目录 采用方案二,设计了PAFSI(PBS and AFS Integration)系统,有效的弥补了Torque的不足 系统总体设计 系统的设计采用客户端/服务器C/S结构,集群中消息的通信机制基于开源的ActiveMQ消息总线机制。 服务器端AFSTokenServer 服务器端AFSTokenServer的组成 运行在AFS的服务器上,负责保存、伪造及修改用户的AFS Tokens Token-Generator模块 监控集群节点的Tokens请求(节点名、作业ID、作业属主等信息) 验证请求的合法性 伪造合法的Tokens 延长Tokens的生命周期 记录Tokens请求 Token-Dispatcher模块 Tokens的分发,以消息为载体,发送有效的tokens给相应的计算节点,同时修改记录的标志位 请求信息的清理 AFSTokenServer的实现 无需修改AFS的源码 充分利用AFS的开源特性,调用AFS-DEVEL的相关接口,编写自定义的tokens接口 实现的接口有: forgeToken activateToken extendToken 服务器端对Tokens的操作,只需用户提供JOBID,JOBOWNER信息(不需要用户提供任何密码),即可完成有效的tokens伪造 采用ActiveMQ实现与客户端的消息通信,服务器端以消息为载体,发送有效的tokens给相应的计算节点 客户端AFSTokenClient 客户端的实现主要是对Torque PBS的pbs-mom模块扩展 运行在所有计算节点上,负责请求、接收、保存并设置作业运行环境以激活用户的AFS Tokens 当调度到新作业时,向服务器端发送tokens请求,( JOBID,JOBOWNER,HOSTNAME) 接收从AFSTokenServer端以消息形式发送过来的Tokens,并保存 设置作业运行环境以激活tokens PBS-MOM jobs AFSTokenClient Exist valid tokens? no Send tokens request Receive tokens Activate tokens in jobs’ environment Create PAG yes 系统的消息服务层 基于开源消息中间件ActiveMQ实现系统消息服务层 ActiveMQ是一个开放源码基于Apache 2.0 licenced发布并实现了Java Message Service(JMS1.1)规范 AFSTokenServer ActiveMQ Pending Queue2 Pending QueueN Pending Queue1 … AFSTokenClient AFSTokenClient AFSTokenClient AFSTokenClient … 作业的生命周期对比 作业生命周期 PAFSI作业管理系统 Torque PBS作业管理系统 作业创建 用户通过shell命令组成的批处理的脚本文件 用户通过shell命令组成的批处理的脚本文件 作业提交 qsub命令提交作业 qsub命令提交作业 作业执行前 1、pbs_mom对作业运行的资源、环境进行判断 2、发送AFS tokens请求,获取用户的AFS tokens 3、设置
您可能关注的文档
- 20121220第5期(中文) - chinese consulate brisbane.doc
- 13642781274 注意事项:上课一定要带计算器和草稿纸.ppt
- 1435300517 - 腾讯gad.ppt
- 200812291529402940_建筑工程消防设计审核申报表+.doc
- 2005072210273526580 第九章强心苷 课次:26 课题:第九章 强 .doc
- 2017050217032842601510 - 连云港市政府.doc
- a-12《产品绿色化工程概论》 - 中国兵工学会.doc
- aaa和8021x.ppt
- abb低压数据中心解决方案 - abb group.pdf
- about oriental arc 苏州东方之门简介 - mapic china.pdf
文档评论(0)