原创力文档- 1、本文档共19页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
使用IntelEnterpriseEditionforLustre构建二级存储系统
1896 1920 1987 2006
使用Intel Enterprise
Editionfor Lustre构建
二级存储系统
韦建文
上海交通大学高性能计算中心
2016年5月14日，镇江
交大现有Lustre存储系统概况
• 存储设备：DDN 12K (2个机头 + 5个磁盘柜) ，于2013年
购置
• 裸盘容量：1PB (720TB SATA + 300TB SAS 扩容)
• 存储服务器：2个MDS + 4个OSS 互为热备
• 实测性能：10GB/s读取，10GB/s写入
巨大的计算伴随着巨大的存储需求
全部可用空间
存储使用量/TB 513TB
其他应用 500
50TB 450
大数据应用 400
50TB 350
物理与天文系
200TB 300
250
自然科学研究 200
院 150
100TB 100
50
生命科学 0
150TB 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月
存储使用量/TB
自2015年12月以后，存储空间使用率超过93% ！
Lustre扩容计划
• 5月初新增50块6TB近线SAS盘，可用空间增加210TB
• 新购置一套使用DELL硬件和Intel Enterprise Edition for
Lustre的二级存储系统，裸盘容量4PB ，计划于6月中下旬
上线
Lustre是高性能计算中的关键组件
• Lustre是数据同步的通道 ：可以在集群范围内维持对文件
内容的一致视图，LSF作业调度系统使用全局文件系统进行
节点状态的同步。
• Lustre提供优秀的并行写入性能 ：进行并行I/O可以大大缩
短程序启动、做检查点的时间。某应用做检查点时需要
2048线程并行写入，每次产生数据1TB ，耗时5分钟，写
入速率约3GB/s。
• Lustre提供横向可扩展的能力 ：300TB扩容耗时2天，升级
后顺利支持用户的数据密集应用(堆积半年，耗时4 日，每
日写入25TB数据)。
DDN Lustre 存储系统是系统下线的重要原因
• DDN Lustre故障影响范围大，是
文档评论（0）