- 1、本文档共19页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
使用IntelEnterpriseEditionforLustre构建二级存储系统
1896 1920 1987 2006
使用Intel Enterprise
Editionfor Lustre构建
二级存储系统
韦建文
上海交通大学高性能计算中心
2016年5月14日,镇江
交大现有Lustre存储系统概况
• 存储设备:DDN 12K (2个机头 + 5个磁盘柜) ,于2013年
购置
• 裸盘容量:1PB (720TB SATA + 300TB SAS 扩容)
• 存储服务器:2个MDS + 4个OSS 互为热备
• 实测性能:10GB/s读取,10GB/s写入
巨大的计算伴随着巨大的存储需求
全部可用空间
存储使用量/TB 513TB
其他应用 500
50TB 450
大数据应用 400
50TB 350
物理与天文系
200TB 300
250
自然科学研究 200
院 150
100TB 100
50
生命科学 0
150TB 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月
存储使用量/TB
自2015年12月以后,存储空间使用率超过93% !
Lustre扩容计划
• 5月初新增50块6TB近线SAS盘,可用空间增加210TB
• 新购置一套使用DELL硬件和Intel Enterprise Edition for
Lustre的二级存储系统,裸盘容量4PB ,计划于6月中下旬
上线
Lustre是高性能计算中的关键组件
• Lustre是数据同步的通道 :可以在集群范围内维持对文件
内容的一致视图,LSF作业调度系统使用全局文件系统进行
节点状态的同步。
• Lustre提供优秀的并行写入性能 :进行并行I/O可以大大缩
短程序启动、做检查点的时间。某应用做检查点时需要
2048线程并行写入,每次产生数据1TB ,耗时5分钟,写
入速率约3GB/s。
• Lustre提供横向可扩展的能力 :300TB扩容耗时2天,升级
后顺利支持用户的数据密集应用(堆积半年,耗时4 日,每
日写入25TB数据)。
DDN Lustre 存储系统是系统下线的重要原因
• DDN Lustre故障影响范围大,是
文档评论(0)