某银行核心系统存储升级改造架构方案设计实践.doc

? ? ? ? ? ? ? ? 某银行核心系统存储升级改造架构方案设计实践 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章摘要 截至2018年底，我行基于HDS VSP存储复制技术搭建的两地三中心容灾系统已经运行了八年，性能出现瓶颈、切换需要人工干预，不能达到同级银行所需的RPO和RTO,使得我行存储架构改造迫在眉睫。基于此，我们针对老旧设备存在的问题、未来业务发展需要和提供更好的服务、提升我行核心竞争力等多方面进行了分析和总结，经过对存储技术架构的多维度对比后，我们最终选定了华为的同城双活+异地远程复制的两地三中心存储容灾保护方案。本文着重阐述了存储组网设计、故障域设计、网络层设计和应用层设计等，经过近十个月的努力，最终在不影响业务的情况下，我们完成了异构存储的在线迁移，保证了新系统的顺利上线。 一、项目背景 ?? 2011年初实施完成基于HDS VSP高端存储搭建的3DC方案承载核心业务系统，由生产中心通过DWDM链路同步复制到同城灾备中心、SDH线路异步复制到异地灾备中心构成。核心业务数据量约58TB，主机采用约45台Power物理机承载，主要包括：核心数据库和业务系统(存贷款、支付系统、账务)等。通过阵列复制技术进行容灾，RTO4H，RPO=0（同城），RPO15m(异地)。 1、痛点1现网存储采用SSD和SAS进行分级，同时承载核心业务和部分A类业务，存储时延抖动较大，高峰期时延超过10ms，读时延最高到15ms，且时延经常出现来回波动，造成业务时常卡顿。2、痛点2业务连续性方面，现网存储容灾架构满足千亿级银行对于RTO、RPO的基本要求，但是生产存储存在单点故障，切换需要人工干预，且年度容灾演练复杂度高，现网存储架构无法满足未来银行对于数据中心“双活”模式的演进。3、痛点3TCO高，核心存储使用HDS早期VSP产品，设备老旧，即将过保，后期运维成本高，且扩容难度大。 二、需求分析和总结 1、旧核心设备面临问题 性能出现瓶颈，超时严重，业务卡顿 核心设备老旧（即将过保），可靠性降低 TCO较高，扩容成本高居不下。 2、未来业务发展需要 产品与制度创新 防范系统性风险 加强科技监管 用户满意度 业务需求快速响应 3、核心系统改造势在必行 更前沿的架构 更好的性能表现 支持新技术架构创新 提供更好的服务 提升核心竞争力 三、技术选型 1、存储改造--技术架构对比 ?从上表可以看出，存储容灾具备较强有事，首先，通用性强，适用于数据库及其他类型用，其次，配置简单，对主机资源占用少；另外，方案成熟度高，延展性强。 2、存储选型原则? 对于存储选型方面，我们需要高可靠，即，业务连续性支持，架构级高可用和设备级高可靠；高性能，即，高带宽、低时延的架构，满足不用应用系统的性能要求以及支持业务快速上线；易管理和维护，必须具备自动化部署和配置、数字化管理和容灾架构管理；良好的可扩展和可演进性，必须满足未来3~5年的规划，支持向“双活”数据中心演进。因此，最终我们确定使用高端全闪存进行核心系统存储改造。 3、最终选型--同城双活+异地复制两地三中心容灾方案 ?基于对主存储性能保证的考虑，我们最终选用同城双活+异地远程复制的两地三中心存储容灾保护方案。它的优势在于： 高端全闪存满足核心系统对于性能的要求（低于1ms的稳定时延），且满足未来3~5年的业务扩展需求及新业务快速上线的需求； 高端全闪存“四坏三”架构提升单存储可靠性； 同城双活方案RPO=0、RTO≈0，高标准满足监管要求； 基于A-A架构的双活，两端存储都支持数据读写，减少了年度容灾演练步骤，大幅缩短演练变更操作时间和步骤； 后期平滑演进“四副本”等容灾方案，创新方案能力领先。 四、两地三中心容灾方案设计 4.1方案架构图4.1.1级联组网两地三中心方案架构逻辑组网（级联） 在级联组网方式中，生产中心与同城灾备中心之间采用同步数据复制技术，而同城灾备中心与异地灾备中心之间采用远程异步数据复制技术。这种方式中，生产中心与同城灾备中心之间有着密切的关系，如果中间的线路或同城灾备中心的存储设备有任何故障时，整个数据复制过程将停止。 同时，当同城容灾中心出现故障时，生产中心和远程容灾中心将失去联系，即生产中心的数据不能及时复制到异地灾备中心，造成生产数据没有容灾保护，容灾中心建设失去意义。因此这种级联容灾架构的容灾防护和适应能力较差。 4.1.2并联组网两地三中心方案架构逻辑组网（并联） 在并联组网方式中，生产中心与同城灾备中心之间采用同步数据复制技术，生产中心与异地灾备中心之间采用异步数据复制技术。 这种方式中，生产中心与同城灾备中心之间是相对独立的关系，，如果中间的线路或同城灾备中心的存储设备有任何故障时，异步