网络存储关键技术解决专项方案：高性能计算统一存储应用场景.docxVIP

网络存放技术处理方案： 高性能计算统一存放应用场景 经典场景 面向企业级HPC数据中心，科研院所、高等院校大型HPC计算项目等； 用户已经布署了HPC计算系统，依据计算能力和存放空间需求配置高性能存放系统。存放系统应该能够给计算系统提供大容量、高性能共享存放空间，支持计算服务器集群对数据并行读写操作，布署方法灵活，扩展性强。伴随计算集群服务器节点数量增加，对存放系统数据读写性能需求对应增加，存放系统应该能够经过简单操作，实现系统性能和存放容量动态增加。系统稳定性良好，含有高可用性。 应用背景 高性能计算(High Performance Computing，HPC)在石油、生物、气象、科研等计算密集型行业中应用很广泛。近几年来，因为计算机CPU能力快速提升，标准化硬件成本快速降低，相对廉价Linux并行集群系统逐步成为HPC主流，并使HPC进入更宽广工业和商业应用市场。 传统存放技术架构对带宽和I/O能力提升却很困难且成本高昂。这造成了当原始数据量较大时，I/O读写所占整体时间就相当可观，成为HPC集群系统性能瓶颈。 除了对存放系统I/O能力苛刻要求外，HPC对其管理、扩展、可靠和共享访问等各方面指标也丝毫不妥协。因为管理维护复杂性，传统存放系统管理成本加起来往往数倍于其采购成本。管理任务包含安装和配置新硬件，为用户或应用分配容量，在各子系统间迁移数据以均衡负载和容量，备份和恢复数据，故障排除和系统重建，处理用户对性能和容量等各方面提出新需求等。 处理方案 因为高性能计算对存放架构要求极高：带宽性能达成数GB/s甚至数十GB/s，容量能扩展至PB级；完全透明访问和数据共享；和生俱来高可靠性和高可用性；集中式智能化管理，不因容量和设备数增加而显著增加管理成本；无缝整合其它存放系统，轻松获取和交换数据；集成数据服务，包含备份、远程复制和生命周期管理；可按需独立扩展容量和性能，保护投资。 经典配置以下图：布署一套中科蓝鲸BWStor BW3200横向扩展集群NAS统一存放系统。既能够经过IP网络使用NAS协议，也能够经过FC链路使用BWFS协议提供高性能共享存放空间。使用基于IP网络NAS协议时，无需服务器安装任何用户端程序，可充足利用现有成熟IP网络技术，节省部分投资；使用基于FC链路BWFS协议时，需要在对应计算服务器上布署BWFS用户端，然后服务器经过用户端以光纤直连FC磁盘阵列方法挂载共享目录，享受文件级数据共享服务，无需计算服务器再使用当地文件系统对存放空间进行格式化。 集群NAS统一存放系统能够灵活地给计算服务器提供两种不一样基于文件数据访问服务，针对极高性能要求部分服务器使用基于FC链路BWFS文件系统；针对较高性能要求部分服务器使用基于IP网络NAS文件系统。 这种新型HPC存放架构以集群存放为主，经过分布式或集群文件系统管理SAN架构存放阵列，提供单一命名空间，并经过IP网和聚合带宽技术向用户端提供高带宽、高可靠存放系统。当然伴随万兆以太网技术普及，将深入强化IP网络高聚合带宽优势。 整体存放系统能够实现横向扩展（Scale-Out）和纵向扩展（Scale-Up）：横向扩展性能提升，纵向扩展容量增加。 方案优势 单一全局命名空间，支持异构操作系统平台间文件级数据共享。 支持多个协议：InfiniBand、FC、iSCSI、NAS等。 卓越性能优势——既支持通用NAS协议访问，又支持带外SAN文件共享访问，充足发挥存放额外带宽，满足不一样业务需求。 强大可扩展能力——支持高达ZB级系统存放容量和PB等级巨型文件，支持上亿规模目录和文件数量。经过增加存放设备能够在线扩展存放容量、IO带宽和负载能力。 企业级数据可靠性——拥有多项专利技术SAN文件系统BWFS，经过文件系统日志和快速FSCK和独特文件级故障隔离技术和多文件系统支持，为用户提供最大程度数据可靠性确保。经过历经上百个大型数据应用项目标长久稳定运行和经验积累，现已成为BWFS数据可靠性信心起源。 系统高可用能力——集群NAS网关、全冗余SAN架构，配合BWMirror文件级镜像技术，实现存放系统无单点故障，确保留放系统整体连续运行。 系统含有智能故障检测和性能计数器功效，既能够帮助用户定位多个故障原因，又能够定位和分析IO特征，从而进行性能分析和优化。系统内置抗碎片分配算法和在线碎片整理工具，让用户无须担心系统长久运行碎片化问题。 灵活存放方案配置：在多盘阵环境中，既能够经过存放虚拟化将全部存放空间（LUN）虚拟成单一存放空间使用，也能够经过多文件系统支持，将不一样LUN独立成不一样文件系统使用，方便用户依据需求配置灵活处理方案。