某城商行基于国产高端存储的实践应用经验.doc

? ? ? ? ? ? ? ? 某城商行基于国产高端存储的实践应用经验 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1.概述 随着金融业务开放创新的深化发展，金融科技在经历了电子化、网络化后，逐步迈入数字化、智能化的新阶段。在金融全面数字化、智能化时代，金融IT基础设施的科技改革，不仅仅聚焦于金融云、大数据、AI等热点的投入，同时核心账务联机交易业务等传统生产系统的基础设施也在新形势下需要进行不断扩展与优化。 1.1. 项目背景 自2013年我行核心系统基础设施全面升级以来，直至2017年各类业务系统的上线、扩容以及应用系统分布式的改造，对基础设施造成的压力与日俱增，核心存储在经历4次扩容后，已经达到当时的满配，其性能也已经呈现疲态，特别是在晚间跑批时的IO峰值已经接近设计峰值的一半，响应延迟时间远远高于设计值，如若采取继续扩容磁盘柜的形式扩充数据中心容量，势必对原有系统造成不稳定因素，扩容成本也更加高昂。另外，长期以来存储的建设缺乏统筹规划，形成了多座以两台光纤交换的SAN环境为基本单位的存储孤岛，不利于我行即将开展的数据中心迁移工作，同时考虑到自主可控政策的主张，结合国产存储在市场上的占有率呈上升趋势，为解决上述问题，计划在生产环境中引入国产设备作为二级核心存储，解决原核心存储容量不够、性能降低，且不利于数据中心迁移的局面。 1.2. 建设目标 SAN环境需要进行扩容与接入； 核心设备向自主可控方向发展； 二级存储接入生产环境； 平滑迁移数据至二级存储，降低核心存储的容量压力与性能压力； 为新数据中心数据迁移做好准备。 2.方案规划设计 2.1. 原系统架构 原“两地三中心”容灾模式基于存储数据复制技术完成容灾需求，部署方式为两个同城应用级数据中心，一个异地应用级异地容灾数据中心。 我行三座数据中心建设情况如下： 现有生产中心位于总行办公楼； 同城数据中心与总部数据中心距离约20公里； 毕节数据中心与总部数据中心的距离大约200公里。 该存储在2012年至2019年，支撑我行所有两地三中心业务，包括： 上述架构设计完全能够满足监管部门的业务灾难恢复要求。 按照业务功能的恢复优先级来确定IT系统的恢复策略：A类，立即恢复，同城RPO=0/RTO1小时，异地RPO15分钟/RTO2小时；B类，尽快恢复，同城RPO=0/RTO2小时，异地RPO15分钟/RTO4小时；C类，延迟恢复，同城RPO=0/RTO数据级，异地RPO15分钟/RTO数据级。 2.1.1原存储系统简介 我行vmax 20K配备一个引擎，包括两个控制器，其配置4个四核2.33GHz 英特尔至强处理器、256GB内存，16个前端光纤通道，8个SRDF连接通道，两个管理模块等，以上组件均支持热更换，DAE通过备用电源进行掉电保护，为充分发挥核心存性能使用raid1作为数据保护策略；依据此配置，其IOPS性能应该在5-8万左右，响应时间3-5ms。 在实际使用中，生产中心存储阵列承载了30多个我行的重要业务系统，性能从表现总体上看，IOPS峰值达到了28000，吞吐率达到了2000MBps，IOPS平均延迟5.79ms，在高峰时段相较其它磁盘的热点盘，写响应时间峰值达到了50ms，写缓存命中率81-87%，读缓存命中率此时0.75-12.22%，读写繁忙峰值每秒50Mb左右，存储IO响应最大延迟在35ms 左右，存储整体以读为主，其中读平均占比60.3%，最大占比92.9%，写数据块平均大小13K，读数据块平均大小129K，与其承载多为数据库类应用的情况相符。从IO响应时间和IOPS的实际使用情况综合来看，该存储性能已经呈现下降趋势。判断依据是随着系统实际IOPS越接近设计的最大值，IO的响应时间会成非线性的增长，越是接近最大值，响应时间就变得越大，而且会比预期超出很多。一般来说在实际的应用中有一个70%的指导值，也就是说在IO读写的队列中，当队列大小小于最大IOPS的70%的时候，IO的响应时间增加会很小，在应用端相对来说比较能接受，一旦超过70%，响应时间就会戏剧性的暴增，所以当一个系统的IO压力超出最大可承受压力的70%的时候就是必须要考虑调整或升级了。 在运维方面，日常监控依靠自行开发的脚本在存储管理机上进行监控，包括磁盘、控制器、端口、cache、电池等基础组件的状态，以及数据传输状态，主备切换完全依靠脚本完成，具备很好的操作性，在运维过程中控制感较强。切换演练方面，自从该存储上线以来，我行每年依赖该存储架构对重要信息系统进行同城灾备系统演练2至3次，每次演练都会严格在数据库层面与业务层面进行数据比对，每次比对结果都完全一致，可以有效说明存储的数据复制功能的可靠性。 2.2. 国产存储方案总体设计 2