银行基于存储分域的存储双活架构改造方案.docx

? ? ? ? ? ? ? ? 某银行基于存储分域的存储双活架构改造方案 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【作者】cpc1989，就职于某省行信息科技部，拥有多年的系统、存储以及数据备份等运维工作经验。 一 概述 1.1 项目背景 某行于13年开展同城灾备项目的建设，并确立了通过VPLEX来构建同城双活存储的架构，逐步完成了将原有存储系统改造接入到VPLEX的管理之下。 随着银行的业务种类的增长及业务量的增长，在信息系统数据增长的同时，银行IT系统需要提供更高的存储容量和性能需求。行内新增了多种不同类型的存储设备，存储架构也变得较为复杂，原来的VPLEX存储双活架构面临着严峻的挑战： 1) 由于所有存储设备都介入了VPLEX，这对VPLEX的性能和稳定性产生了很大的压力，无法接入更多的存储设备以满足存储容量需求的扩展。 2) 所有存储系统又通过VPLEX产生了联系，在某些存储设备出现异常的情况下，故障影响会被放大，无法很好地隔离故障影响 3) 随着接入SAN交换机的存储和主机的增多，需要通过SAN交换机级联的方式来扩展SAN交换机的接口。但是通过级联线路访问存储，存在着性能和稳定性的隐患 这就需要我们及时调整改进目前的架构，以适应新的业务及技术需求 1.2 改造目标 通过对行内存储架构梳理，确定存储架构调整方向，以满足如下目标： 1.优化并确立新的存储架构，降低故障发生几率，隔离故障影响程度 2.新的存储架构需要满足存储双活架构，提高系统的可靠性 3.新的存储架构有更大地可扩展性，满足更多的存储容量和性能需求 4.消除通过级联线路访问存储的情况，规划主机与访问的存储在同一个SAN交换机 二 存储架构现状及改造方案设计 2.1 存储架构现状 行内生产机房部署了4台SAN交换机，并两两级联；多台异构存储接入到VPLEX中，通过VPLEX实现存储双活，不同类型的系统都接入到这个存储系统中，存储混用现象严重。具体存储架构见下图： 2.2 改造方案设计原则 按照存储架构改造的目标，我们确立了基于存储分域的存储双活架构改造的设计原则。 存储分域是以业务系统为主要考量因素，将若干功能关联性强，数据访问共享性高的应用组成相对独立的存储域，每个域的主机，存储，san网络都独立部署。从而能有效降低IT系统的基础架构复杂程度，降低故障发生几率，隔离故障影响程度。 2.3 总体方案设计 结合生产现状，在原有生产存储域和容灾存储域基础上，将生产存储域再细分为： 1.交易域：包含实时交易以及非实时交易系统，满足高性能高可靠双活设计容灾设计的要求 2.数据域：包含数据分析类系统，高性能，高可靠，本地双活设计 3.X86平台虚拟化域：作为VMware等虚拟化平台的底层存储，性能和可靠性要求要低一些。 三 各存储域的改造方案 3.1 X86虚拟化域的改造方案 考虑到X86虚拟化域与交易域、数据域完全不同的系统架构，以及低一层级的性能与可靠性需求，而将X86虚拟化域独立出来。X86虚拟化采用中端型号存储，通过存储自身的镜像功能和存储双活功功能实现存储数据的冗余。 涉及到的改造工作主要是将原使用高端存储的虚拟机迁移到中端型号存储上，主要是通过Vmware的VMotion在线迁移存储的方式完成改造。 3.2 交易域的改造方案 交易域的改造需要考虑尽量减少存储改造对业务系统的影响，依然沿用原有的VPLEX Metro+Local的存储双活架构。在此基础上主要考虑两方面的改造工作：VPLEX的性能评估及扩容和交易域存储数据迁移。 3.2.1 VPELX的性能评估与扩容 由于VPLEX在整个交易域的架构中处于极为重要的位置，VPLEX的性能瓶颈会影响到整个交易存储域。在收集了VPLEX一段时间内的性能数据后，去重点分析了VPLEX前后端的IOPS、latency、Diretcor的CPU和内存等指标。其中VPLEX的延迟等指标还处于较正常范围，但Director的CPU负载较高。 如上图所示，生产机房4个director的CPU均值达到50%，峰值超过80%。这也说明生产机房的VPLEX需要扩容director，并且需要将原director的前后端负载通过修改SAN配置引流到新增的director。 3.2.2 交易域的存储数据迁移 考虑到存储分域的原则，在规划好交易域所使用的的存储后，将属于其他存储域的数据从规划的交易域存储中迁移出来。主要迁移方式是通过VPLEX的添加镜像和删除镜像方式来完成数据的在线迁移。 3.3 数据域的改造方案 从存储分域以及VPLEX性能分析来看，数据域不适合再与交易域接入到同一套的VPLEX中。而考虑到数据存储域需要考虑至少实现本地双活的设计，所以需要考虑存储双活的选型。 3.3.1 存