logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

高性能计算知识:Burst Buffer加速技术解析.pdf 17页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 linkinwhite(上传创作收益人)
  • 发布时间:2019-06-10
  • 需要金币50(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:730.14 KB
下载过该文档的会员
你可能关注的文档:
高高性性能能计计算算知知识识::Burst Buffer加加速速技技术术解解析析 免费群 Burst Buffer是什么技术,它跟HPC有什么关系?首先我们 起来了解 个美国超算中心NERSC( 国家能源研究科学计算 中心),然后通过NERSC超算系统对Burst Buffer 的应用来说 说Burst Buffer技术。 NERSC 直与Cray(克雷)合作,为Cori (Cori 是 NERSC最新 的大型计算系统) 的用户带来Burst Buffer技术。 NERSC Burst Buffer是是采采用用Cray DataWarp技技术术,使用闪存或 SSD (固态驱动器)技术来显着提高Cori的/O性能。 第1页 NERSC致力于通过高性能计算和数据分析加速美国能源部科 学探索,并向科学办公室提供高性能计算服务。NERSC的使 命是实现规模的计算科学,需要大量计算和广泛建模。包 括光光合合作作用用建建模模,,全全球球气气候候建建模模,,燃燃烧烧建建模模,,磁磁性性融融合合,, 天天体体物物理理学学,,计计算算生生物物学学等等,这些场景都存在浪涌型O高 性能诉求。 为为什什么么需需要要Burst Buffer NERSC为了满足用户对更好的/O性能的要求,已经在两个 计算系统采用了Burst缓冲区技术。采用Burst Buffer ,可以改 进两个场景和组件的/O性能。 1.应用程序可用的总带宽。带宽越高,优化良好的应用程 序可以读取/写入大量数据的速度越快。 2.文件系统的OPS。许多应用程序执行大量的小型/ O操 作,在这种情况下OPS成为性能的限制因素。 另外,改进后的/O性能可以帮助许多科学提升效率,在计算 业务上,如如通通过过更更快快的的checkpoint restart提提高高应应用用程程序序可可靠靠 第2页 性性;;加加快快了了小小块块传传输输和和分分析析的的I/O性性能能;;为为核核心心外外部部应应用用程程 序序提提供供快快速速临临时时空空间间;;为为需需要要持持久久快快速速存存储储的的大大量量文文件件输输 入入或或耦耦合合模模拟拟分分析析作作业业创创建建暂暂存存区区域域。 Burst Buffer架架构构 下图说明了Burst Buffer 的概念架构。Burst Buffer在在物物理理位位 置置上上是是处处于于计计算算和和存存储储节节点点之之间间的的 层层Flash层层,,在在Cray DataWarp中中它它驻驻留留专专门门的的XC4 节节点点上上,,它它是是I/O计计算算节节点点 系系统统 ((采采用用Aries互互联联))和和存存储储Fabric的的桥桥梁梁。。SSD安装在 Burst Buffer节点中,通过Scheduler和DataWarp软件堆栈来支 持HPC计算作业。 具具有有SSD的的DataWarp PCIe连连接接I/O刀刀片片插插入入到到计计算算刀刀片片的的 XC4 中中,,并并通通过过Aries HPC互互连连连连接接。DataWarp支持 Lustre、GPFS和PanFS并行文件系统,给出FS提供 个全局 的Flash缓存层,通过智能调度算法来从并行文件系统预取计 算数据。 第3页 Cray DataWarp 的闪存磁盘连接到CX40节点。每每个个Brust Buffer节节点点包包含含 个个至至强强处处理理器器64 GB DDR3 内内存存,,以以及及两两 个个3.2 TB NAND闪闪存存SSD模模块块,,连连接接在在两两个个PCIe gen3 x8接接 口口上上。。 每个突发缓冲区节点通过PC e gen3 x16接口连接到 Cray Aries网络互连。 每个突发缓冲区节点提供大约6.4 TB 的 可用容量和大约5.7 GB /秒的顺序读写带宽的峰值。 DataWarp 的软件堆栈包括创建挂载点服务、LVM卷,XFS和 DataWarp文件系统。DataWarp中中的的多多个个SSD设设备备通通过过LVM 管管理理起起来来,,然然后后在在创创建建Brust Buffer时时创创建建XFS组组成成Brust Buffer空空间间,,DataWarp File System (DWFS)配配合合安安装装在在计计算算 节节点点的的Client来来协协调调数数据据在在Br

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556