城商行GPFS迁移至NAS存储实践经验分享.docxVIP

1背景

我行多套业务系统（如柜面业务、支付业务、前置服务等）应用服务器集群存在应用节点之间共享目录的文件访问需求，在系统的前期建设中因当时IBM的GPFS技术相对成熟而且同业广泛的实践均反馈良好，同时GPFS在AIX系统上有较为良好的适配性，因此我行对支付业务采用了基于AIX高可用架构搭建GPFS并行文件系统、对柜面业务采用基于虚拟化技术搭建GPFS并行文件系统来实现应用集群共享文件需求。

GPFS在行内部署的多年来有效支撑了应用运行与相关业务发展，但是由于我行在实施LINUX替代工作、虚拟化环境部署GPFS存在特殊性，以及GPFS维护管理相对的复杂性。因此在行内藉由数据中心搬迁工作投产了华为OceanStorDorado18000系列SAN/NAS一体化双活的高端存储，同时启动了NAS专业存储设备替换GPFS的工作。

本文将围绕GPFS在行内应用的实际情况和华为NAS存储技术的先进性展开讨论中小规模的城商银行在文件共享场景下从GPFS迁移企业级NAS实践路径和思考。???2GPFS的行内前期应用现状

（以我行柜面业务为例）

我行前期已大规模应用服务器虚拟化技术为业务系统提供计算资源，柜面业务正式部署于虚拟化平台之上，同时又部署了GPFS集群满足文件共享需求。在上图所示的LINUX系统以及虚拟化环境下部署GPFS集群需要达成以下条件：

1.首先要在虚拟机之间共享虚拟磁盘。集中式存储通过SAN网络向虚拟化集群映射NSD磁盘；

2.虚拟机要添加额外的SCSI控制器管理共享的虚拟磁盘，在第一个虚拟机上首次添加并创建共享虚拟磁盘，在其他应用虚拟机里使用“添加已有磁盘”功能增加同ID的共享磁盘挂载；

3.因柜面应用节点是基于同城双活方式部署，在生产中心与同城中心各部署10个节点，为保障GPFS并发文件系统的数据一致性以及高可用，要设置MASTER节点，选取主中心的3个应用节点作为MASTER，以保证在2个及以下Master节点故障的情况下，存活的Master节点能继续控制GPFS集群提供服务。

使用虚拟化环境部署GPFS集群在一定程度上简化了系统的组网，并且更高效的利用了物理设备资源，但是也正是因为虚拟化的技术特性同时带来了运维工作存在一定复杂性与技术痛点，结合GPFS的技术特性，总结以下6点：

1.在虚拟化平台上使用共享虚拟磁盘的虚拟机不能像普通虚拟机一样执行在线迁移，导致如果出现在虚拟化平台维护时需要关闭应用节点操作系统而不是通过在线迁移完成无停机的维护。

2.共享虚拟磁盘的虚机不支持使用快照功能，导致虚拟机不能执行快照、克隆、备份，在需要以上运维操作的场景会对运维工作造成影响。

3.GPFS集群的日常维护对于相关技术有门槛，增加了运维工作复杂度。相较于Linux的ext3、ext4、XFS、NFS等传统文件系统的运维管理技术门槛较高。

4.从行内部署了GPFS集群文件系统的应用使用场景考虑，柜面业务需要对代发工资文件、配置参数文件、部分日志文件实现共享，这类场景的共享文件经生成或上传后基本不会被修改，同时也没有高并发的写入和修改需求。但是GPFS并发集群文件系统的技术优势在于对大容量文件系统以及大文件的读写支持，尤其是对于大文件高并发的场景具有较大优势，但是我行目前的文件共享需求场景不能充分发挥GPFS的特性优势。

5.由于我行GPFS是随前期系统新建时即部署，使用时间已较长，该版本已经处于EOS状态。从后续软件稳定运行以及安全性角度考虑，需要进行版本升级或者产品替代。

6.GPFS文件系统对底层的SAN存储网络以及集中式存储设备有着强依赖关系。GPFS磁盘通过集中式存储的远程复制技术实现跨中心容灾，但在我行环境未使用双活技术。各类文件备份通过外接的第三方带库设备实现文件备份。

综上6点痛点与原因，我行计划在数据中心新建的契机之上，使用NAS专用存储设备替换现有GPFS文件系统。

3NAS技术路线选型

目前市场上使用的NAS产品主要分为3类：企业级集中式NAS存储设备，企业级分布式NAS存储设备，开源存储软件NAS。不同的NAS技术路线在产品特性、安全性、冗余性、高可用性、容灾技术、部署与运维成本上具有各自的特点。考虑到我行业务需要共享文件系统的业务特点，即数据规模较小（指数据共享规模一般在TB级数据量），对性能要求根据业务场景不同而需求不同（如支付清算系统对共享文件的性能要求较高，而前文所述的柜面系统业务场景下对性能要求不高）、对数据高安全性、冗余性、高可用性的需求高，我行最终确定选择企业级集中式NAS存储设备作为行内文件共享的解决方案。

在企业级集中式NAS存储设备的技术选型上选择了华为企业级NAS存储设备，从NAS存储的软件特性考虑，例如基本的挂载、复制等传统功能的技术差异度并不明显，主要考察的NAS双活等高级