- 1、本文档共18页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
20.《高能物理海量数据迁移系统的设计与实现》
高能物理海量数据迁移系统的设计与实现 石京燕,臧冬松,程耀东 高能物理所 计算中心 大纲 背景与需求 迁移系统设计与实现 下一步工作 数据迁移需求 数据密集型计算需要处理海量数据 BESIII实验数据:4PB 存储介质:磁盘,磁带 大规模数据迁移需求: 磁盘 磁带库 本系统应用对象:针对同站点BES数据迁移 BES数据分层存储结构 BES数据分层存储结构(续) 登录结点服务器,提供用户登录连接、调试程序及提交作业。 用户提交的作业被批作业管理系统送到后端的计算结点上运行。 所有作业通过对共享文件系统的访问进行数据读写操作。 存储采用三级目录结构,计算结点本地硬盘—挂载在文件服务器上的磁盘阵列 – 磁带库。 较高的性价比。 迁移系统体系结构 体系结构说明 用户接口接收用户迁移任务发送给数据传输控制器。 数据传输控制器分析迁移任务内容,将迁移任务包装成传输作业提交给数据传输服务器 数据传输服务器将传输作业分配到各个传输节点上运行 传输节点连接磁盘阵列和磁带库,完成二者之间的数据复制,迁移。 数据库用于存放数据传输作业具体信息,并实时更新作业运行状态。 用户接口 命令行 网页 传输任务控制器 分析传输任务 整理迁移文件 包装传输作业 传输任务控制器(续) 实现方法 磁带库 ?磁盘 对磁带文件根据磁带位置进行排序 保证抓取,翻转磁带等机械动作用时最少 磁盘 ?磁带库 磁盘数据文件?磁盘缓冲池?磁带 计算传输文件大小及个数,判断磁盘缓冲池状态 保证磁盘缓冲池有足免的空余空间 传输任务分割 根据磁带库实际情况将任务分割成多个作业并行进行 传输服务器 专用的批作业管理系统 接收从传输任控制器提交的传输作业 将作业调度到传输节点进行传输 数据服务器 用于存放传输作业信息 提供用户查询作业状态 作业状态实时进行更新 系统实现 数据库管理软件:二次开发的CASTOR I 数据传输服务器:TORQUE 2.4.1 设置两个传输对列:ToCator, FromCastor 数据库软件:MySQL 4.1.2 两个数据表: 用户数据传输任务信息(用户提交) 用户数据传输作业信息(传输任务控制器生成) 系统实现(续) 传输节点: 万兆网卡 Castor客户端 磁盘阵列客户端 数据传输控制器 功能模块:Python语言编写 作业状态更新模块:C语言编写 作业状态周期更新:crontab 系统实现(续) 下一步工作 性能调优 根据数据文件所在磁带进行数据作业拆分 将磁盘阵列直接挂载到磁带库服务器直接进行复制 问题? 谢谢! * *
您可能关注的文档
- 1.GF2002-2006汉字应用水平等级及测试大纲.doc.doc
- 1.SEM概论.ppt
- 1.A10AX系列产品简报.ppt
- 1.《化妆品安全风险评估指南》.docx
- 1.《基本乐理》教学大纲.doc
- 1.ppt-云南大学发展研究院.ppt
- 1.三部之气,所伤异类的病因分类.2.两虚相得,乃客其形.ppt
- 1.上市公司和相关中介机构篇.ppt-中国证监会.ppt
- 1.个人业主制.ppt
- 1.中国现场流行病学培训项目介绍-中国疾病预防控制中心.doc
- 2024年江西省寻乌县九上数学开学复习检测模拟试题【含答案】.doc
- 2024年江西省省宜春市袁州区数学九上开学学业水平测试模拟试题【含答案】.doc
- 《GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语》.pdf
- 中国国家标准 GB/T 44275.2-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第2部分:术语.pdf
- GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- 《GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构》.pdf
- 中国国家标准 GB/T 44285.1-2024卡及身份识别安全设备 通过移动设备进行身份管理的构件 第1部分:移动电子身份系统的通用系统架构.pdf
- GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 中国国家标准 GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南.pdf
- 《GB/T 44275.11-2024工业自动化系统与集成 开放技术字典及其在主数据中的应用 第11部分:术语制定指南》.pdf
最近下载
- 地铁施工质量通病防治手册(车站篇).pdf
- 消防控制室工作方案与消防流程.doc
- 幼儿园课件:《食品安全我懂得》.pptx
- 金融投资证券 - 金融投资证券 - 期权、期货和其他衍生品第十版答案手册Options,Futures,andOtherDerivatives-10th-JohnHull&Solutions.pdf
- ×××工程项目建设监理规划(房建).doc
- 脱硫脱硝设备现场安装方案.pdf
- 增强驾驭风险能力_提高科学执政本领(ppt46页).ppt
- 体操头手倒立教学教案.doc VIP
- 242个国家中英文名称对照.xls VIP
- 毕业设计(论文)--某商住楼工程量清单与招标控制价编制.doc
文档评论(0)