Lustre在HPC的实践与优化-OpenSFS.PDF

Lustre在HPC的 实践与优化 王渭巍 浪潮 系统架构师 目录 1 Lustre的生产实践 2 Lustre的性能评估 3 Lustre的系统优化 Lustre文件系统广泛应用于HPC TOP100的50%采用lustre  存储系统是整个HPC系统的瓶颈  高并发，容量大，带宽高，延迟低  Checkpoint要求瞬时带宽高  随着系统规模增大，对存储系统的稳 定性，可靠性要求越来越高 TOP500的30%采用lustre  Lustre在HPC领域应用广泛  高效的并行文件系统  开源，硬件无关，性能卓越  Lustre生态环境日益完善 Lustre如何应用于生产实践 作为开源软件， Lustre应用于生产实践 还有很多工作要做 • 部署安装 • 管理维护 • 性能优化 大型 SKA(平方公里阵) SKA的数据存储需求： 12Tb/s ，12小时×30天产生的数据量为 1944PB ；如果采用目前容量最大的6T硬 盘来存，需要324000块。一块6T硬盘的 价格为3738元（亚马逊）， 324000块 硬盘的总价格高达12.1亿。 大型 小型 某遥感卫星数据处理（试算） 研究人员的数据存储需求： 无力购置专业存储硬件 共10台服务器节点，每个节点两块硬盘 构建一个全局并行文件系统，提升IO带 宽 提炼需求，设计方案 输入数据、输出数据和可视化数据在哪里？ 这些数据如何共享 数据