DDN大容量存储平台解决方案.docx

DDN大容量存储平台解决方案项目需求分析概述为了满足企业业务系统对存储性能和容量扩展需求，DataDirect（DDN）凭借全球HPC的丰富经验为用户提供基于DDN SFA12K-20高效能存储系统方案，搭配GPFS并行文件系统，满足用户对大容量高带宽存储应用需求，它可以在业务需求改变时，线性地火独立的扩展性能和容量，不仅能够降低横向扩容存储的复杂性，还能够通过移除存储群集的延迟元素，以提高存储的响应性，以最大限度的灵活性，应对其大数据对系统架构海量数据的规模和吞吐量需求。高性能计算机集群存储系统的需求和特点：高性能计算集群中在多个节点进行大规模并行计算的同时，需要进行大量文件及数据访问，对系统的存储性能也提出非常高的要求，系统对存储系统要求主要归结为以下几点：全局统一命名空间高性能集群相比较于其它应用而言，一个显著的特点是为了保证与集群中个节点间具有一个统一的命名空间，也就是说在集群中任何一个节点，对一个文件的读写、修改都会在其它节点生效，实现这一个功能，往往需要通过网络文件系统来实现，比较常见的实现方式是NFS。当前，由于集群规模的不断增大和对存储访问性能的要求逐渐提高，并行文件系统在高性能集群中的使用也越来越广泛。高性能对于集群规模较大，或高IO应用的集群用户，由于对存储的访问量很大，对共享存储的访问性能也提出了很高的要求。通常在硬件方面，可以通过提升存储磁盘阵列的性能、存储介质的性能、存储阵列访问接口性能和IO节点网络性能等，来提高整个共享存储的性能，而对于更高IO需求的系统，可以在软件层，通过并行文件系统来实现海量文件高速并发读写。高密度、大容量、可扩展性由于高性能集群规模不断扩大、数据处理能力惊人、业务数据成倍增长，对高性能存储容量需求也是非常惊人，在某些对海量存储需求的系统中，存储量往往可达到TB级甚至PB级。高密度、大容量、可扩展性存储系统，在用户管理、能耗、扩容性为用户提供了未来存储系统发展的最佳选择。高可靠、高可用性高性能集群承担着重要的业务和科研任务，用户的数据具有极高的价值，同时，存储系统为全局系统，一旦出现故障，将导致整个系统不可用。所以在高性能存储系统中，无论是IO节点、存储交换机、还是存储磁盘阵列、存储介质等，每个环节都要尽可能的保证高高可靠和高可用性。存储系统方案设计根据公司存储需求，此次提供两套存储方案供客户选择：方案一：DDN SFA12K-20存储系统，依据DDN SFA12K-20产品为基础，配置8台服务器，搭建GPFS文件系统提供用户存储服务。方案二：DDN GS12K存储系统，是DDN提供的基于SFA12K-20产品，内置GPFS、NSD服务器，为用户提供的一整套GS高速存储解决方案。存储系统方案拓扑方案一：DDN SFA12K-20存储系统解决方案方案二：DDN GS12K存储系统解决方案方案概述方案一概述：方案建议采用Datadirect Networks（DDN）的SFA12K-20高效能存储存储系统，配置一对互为冗余的SFA12K-20控制器，10个DDN SS7000扩展柜（每个扩展柜有60个磁盘插槽），504块4TB 7.2K RPM 6Gb/s NL SAS硬盘，其裸存储容量为2.016PB，可用容量约在1.6PB。。方案使用GPFS文件系统，配置有8台NSD服务器，每台服务器配置2个双端口FDR HCA卡，分别于DDN SFA12K系统和Cluster计算节点通过56Gb/s高速Infiniabnd网络互联，该方案存储系统可提供高达16GB/s的实测存储聚合带宽。方案可与前期项目无缝融合，在不改变现有集群（Infiniband网络集群、万兆网络集群）架构、配置基础上，实现集群节点对新存储系统的高速访问。方案二概述：方案二GS12K为客户提供一整套基于Gridscaler（GPFS）并行文件系统方案，采用内置NSD服务器，预装GPFS文件系统，存储与NSD服务器之间采用数据内部交换，存储效率更高。方案二采用内部集成方式，与方案一比采用内置GPFS文件系统方式，省去8台NSD server服务器及后续配置工作，为用户直接提供GPFS NAS存储接口，客户在使用和管理起来更为简洁、方便，其余物理硬件配置与方案一相同，文件系统性能也与方案相同。DDN SFA12K-20存储系统DataDirect Networks SFA12K-20: 直接提供给应用系统裸设备，裸设备读写带宽可达20GB/s，支持EXascaler、Gridscaler并行文件系统。行业领先技术优势DDN存储在解决极端存储挑战方面有着行业所认可的丰富经验，DDN存储在高性能计算和富媒体行业处于霸主地位，被用于全球最大型网站、存档设备、数百处全球最大的超级计算机和超过600家媒体。DDN大规模多线程处理存储架