Burst Buffer技术为何在HPC如此盛行.doc

? ? ? ? ? ? ? ? Burst Buffer技术为何在HPC如此盛行 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Burst Buffer是什么技术，它跟HPC有什么关系？首先我们一起来了解一个美国超算中心NERSC(国家能源研究科学计算中心)，然后通过NERSC超算系统对Burst Buffer的应用来说说Burst Buffer技术。 ? ? ? NERSC一直与Cray(克雷)合作，为Cori (Cori?是?NERSC最新的大型计算系统) 的用户带来Burst Buffer技术。?NERSC Burst Buffer是采用Cray DataWarp技术，使用闪存或SSD（固态驱动器）技术来显着提高Cori的I/O性能。 ? ? ? ? NERSC致力于通过高性能计算和数据分析加速美国能源部科学探索，并向科学办公室提供高性能计算服务。NERSC的使命是实现规模的计算科学，需要大量计算和广泛建模。包括光合作用建模，全球气候建模，燃烧建模，磁性融合，天体物理学，计算生物学等等，这些场景都存在浪涌型IO高性能诉求。 ? 为什么需要Burst Buffer ? ? ? NERSC为了满足用户对更好的I/O性能的要求，已经在两个计算系统采用了Burst缓冲区技术。采用Burst Buffer，可以改进两个场景和组件的I/O性能。 1.应用程序可用的总带宽。带宽越高，优化良好的应用程序可以读取/写入大量数据的速度越快。 2.文件系统的IOPS。许多应用程序执行大量的小型I/ O操作，在这种情况下IOPS成为性能的限制因素。 ? ? ? ? 另外，改进后的I/O性能可以帮助许多科学提升效率，在计算业务上，如通过更快的checkpoint restart提高应用程序可靠性；加快了小块传输和分析的I/O性能；为核心外部应用程序提供快速临时空间；为需要持久快速存储的大量文件输入或耦合模拟分析作业创建暂存区域。 ? Burst Buffer架构 ? ? ? 下图说明了Burst Buffer的概念架构。Burst Buffer在物理位置上是处于计算和存储节点之间的一层Flash层，在Cray DataWarp中它驻留专门的XC40节点上，它是I/O计算节点系统（采用Aries互联）和存储Fabric的桥梁。SSD安装在Burst Buffer节点中，通过Scheduler和DataWarp软件堆栈来支持HPC计算作业。 ? ? ? ? 具有SSD的DataWarp PCIe连接I/O刀片插入到计算刀片的XC40中，并通过Aries HPC互连连接。DataWarp支持Lustre、GPFS和PanFS并行文件系统，给出FS提供一个全局的Flash缓存层，通过智能调度算法来从并行文件系统预取计算数据。 ? ? ? ? Cray DataWarp的闪存磁盘连接到CX40节点。每个Brust Buffer节点包含一个至强处理器64 GB DDR3内存，以及两个3.2 TB NAND闪存SSD模块，连接在两个PCIe gen3 x8接口上。 每个突发缓冲区节点通过PCIe gen3 x16接口连接到Cray Aries网络互连。 每个突发缓冲区节点提供大约6.4 TB的可用容量和大约5.7 GB /秒的顺序读写带宽的峰值。 ? ? ? DataWarp的软件堆栈包括创建挂载点服务、LVM卷，XFS和DataWarp文件系统。DataWarp中的多个SSD设备通过LVM管理起来，然后在创建Brust Buffer时创建XFS组成Brust Buffer空间，DataWarp File System (DWFS)配合安装在计算节点的Client来协调数据在Brust Buffer上换入换出，并且向计算节点提供统一命名空间来进行数据访问。 ? ? ? ? 这种架构提供了许多适合NERSC的科学Workload的特性。在技术上主要体现在以下几个方面。 调度程序集成。对Burst Buffer资源的访问与系统的调度程序集成。 调度程序提供了调配一组用户或作业共享的BurstBuffer资源的功能。它还可以处理自动数据迁移到BurstBuffer，或从BurstBuffer存储迁移到后端存储。 缓存模式。BurstBuffer还可以提供缓存模式，其中闪存资源用作大型Lustre文件系统的缓存层。这种模式对用户程序代码是透明的，无需修改代码便可提供高性能I / O。 过滤分析。允许在BurstBuffer节点上处理和过滤数据。 ? NERSC的Burst Buffer路标 ? ? ? Burst Buffer软件堆栈预计将分四个阶段交付，如下所示。?Burst Buffer软件的第一阶段是在201