高性能气象数据存储集群和在线扩展技术应用.docVIP

高性能气象数据存储集群和在线扩展技术应用 　　作者简介：赵春燕（1984—），女， 北京人，工程师，研究方向：高性能计算系统管理维护、软件配置管理（E-mail：zhaocy@cma.gov.cn）；孙英锐（1973—），男，河北迁交人，高级工程师，硕士，研究方向：气象数据存储管理。 摘要：为了满足气象数据快速增长和高效应用的业务需求，设计采用基于SAN和GPFS的高性能存储集群进行数据存储，并随着数据量的快速增长，实现灵活在线扩展以满足数据存储需求。结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计，阐述基于SAN和GPFS技术的存储集群架构，并重点介绍存储集群的在线扩展技术的实现。基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面，实现了气象数据存储系统随着业务数据变化的灵活扩展，使系统具备优秀的扩展性和适应性。 关键词：气象数据存储；存储集群；SAN；GPFS集群；在线扩展 中图分类号：TP399文献标识码：A 1引言 随着气象事业和科技水平的迅速发展，气象数据的种类、数量也随之迅速增长，目前气象数据的存储采用数据库和共享文件系统两种技术，根据数据特点和服务方式将数据按照在线、近线和离线三种方式进行存储。由于气象数据种类多、数量大、格式多样，除通用数据库、专题数据库存储的数据之外，还有大量的数据采用高性能的共享文件系统实现在高速磁盘阵列上的直接在线存储，以满足业务应用、服务和安全备份的需求。随着业务的不断丰富，数据量呈现快速增长，大量数据库系统也采用高性能共享文件系统作为底层存储，如何高效的访问存储，保障业务应用的数据访问效率，同时考虑满足不断增长的数据存储需求，灵活的在线扩展，成为存储系统设计和实现中必须考虑的问题。 我国气象部门应用广泛采用GPFS（General Parallel File System）[1]、NFS（Network File System）[2]等共享文件系统。GPFS是一个可扩展、高性能、安全的通用并行文件系统，在性能和安全性上优于NFS[3]，结合SAN（Storage Area Network）[4] 高速高可靠网络互联技术，构成高性能的数据存储集群[5]，实现大容量数据库存储和直接的在线存储，广泛的应用于气象信息系统数据库、共享数据存储系统建设中。 针对基于SAN和GPFS的存储集群架构，探讨了在数据计算和处理能力、存储容量、文件系统容量变更等三方面的在线扩展技术，对气象数据存储系统的灵活扩展具有重要意义。 2高性能气象数据存储集群设计 基于SAN和GPFS的存储集群物理架构包含三层，1）存储层：高速磁盘阵列；2）SAN存储网络层：冗余链路配置的高速SAN存储区域网；3）服务器层：至少两台的服务器作为冗余的数据访问处理节点。 2.1存储集群架构设计 2.1.1.物理架构 本实例采用三台服务器作为集群节点，配置两台冗余SAN光纤交换机，四台磁盘阵列。每台服务器配置两块HBA卡，冗余连接至两台SAN交换机。每台光纤交换机配置2个控制器，每个控制器两个端口，将每个控制器冗余连接到两台SAN交换机。如图1所示，为存储集群的物理架构，冗余配置保证了在Zone划分后集群的高可靠性。服务器节点间通过以太网连接，服务器节点和存储之间的连接链路采用光纤线，磁盘阵列采用高端磁盘阵列，构成高性能数据存储管理集群，根据业务数据访问性能需求和磁盘阵列的光纤出口速率，可对集群性能进行精细化分析，在此不详细探讨。 2.1.2逻辑架构 使集群节点访问存储设备的路径唯一，需要对连接到SAN中的服务器和存储划分Zone，实现设备的隔离。Zone划分好以后，配置GPFS集群，形成逻辑上的存储集群。存储集群的逻辑架构如图2所示，GPFS将物理磁盘映射形成虚拟设备NSD（Network Share Disk），将一个或多个NSD作为逻辑文件设备挂载到服务器节点上提供给文件系统使用。 2.2存储集群构建 2.2.1物理结构配置 1）将三台服务器连接至以太网络，配置光纤交换机，配置Domain。 SAN1：Domain为1，SAN2：Domain为2 2）规划服务器节点和存储占用的交换机端口，并按规则为每个控制器进行编号，在交换机中配置。 （1）服务器节点 控制器A：I-SRV-1-A-1：1，1 ； 控制器B：I- SRV-1-B-2：2，1 ； 各项含义为：交换-服务器-服务器编号-控制器-Domain：Domain，端口号 （2）磁盘阵列 控制器A：I-DS42-1-A-1