某公司系统容灾切换提速案例.docVIP

某公司系统容灾切换提速案例 一、容灾原理 某公司BOSS核心数据库容灾系统的建设是采用通过专用的存储网络进行的阵列底层的实时的、与应用无关的数据远程复制。其容灾技术上采用了基于HP公司XP阵列的Continuous Access（简称CA）数据复制技术。数据复制方式如下图： 当BOSS核心数据库出现故障或不可用，可以在短时间内断开阵列复制关系后，将容灾环境数据库拉起，替代主数据库提供对外服务。同时在应用层面，主要的应用服务器连接数据库的TNS配置都采用了DNS域名的方式指向到数据库实例。当发生容灾切换后，只需要手工调整数据库DNS域名指向的IP为容灾的IP即可实现应用程序无缝切换到容灾环境而无需更改应用配置。通过上述的方式，实现了从应用到数据库的BOSS营业系统系统级容灾。 二、提速改造 以下是容灾过程中准备切换系统到可以对外提供服务的步骤及时间： 步骤 原容灾切换 改造后的容灾切换 改造说明 项目 时间 项目 时间 1 检查及断开阵列复制 5 min 检查和断开阵列复制 1 min 采用自动化脚本，将以前依靠人工输入命令的方式改为执行批处理脚本，通过简单的人机交互确认实现容灾快速切换。 2 激活巻组和双机 15 min 激活巻组和双机 1 min HP-UX 11.11升级到HP-UX 11.31，利用HP-UX 11.31的支持并行化VG卷组激活和并行I/O的特性，使得容灾环境所有数据VG资源的激活时间从10-15分钟降低到秒级。 3 拉起数据库 15 min 拉起数据库 2 min 容灾数据库从平时的Close状态提前置于CRS启动和nomount状态，减少容灾数据库启动时间。 4 手工切换DNS 20 min 自动切换DNS 5s 采用智能DNS进行连接配置，通过执行自动化脚本实现DNS的检查及配置。 5 应用重启 1hour 无 （不需要重启应用） 40s 中间件加入了防冲击的优化，设定了队列可以处理的连接上限等，防止在初始化的情况下，大量连接引起队列堵； 应用采用自动重连技术，在发现数据库中断后，会每40s进行重连尝试，使用了开源的优秀连接池管理配置和重连。 合计 115min 5min 三、总结 通过对容灾步骤的一系列优化方案，可以看出，改造后的方案将主机、数据库层面和人为操作层面所需时间压缩到最低，在容灾切换时，断开CA容灾复制，把数据VG卷组全部激活后，将数据库从nomount转为open状态即可,节省了人为操作时间和大量起服务及分配内存的时间；同时采用自动化容灾切换和自动DNS切换的方式，通过执行自动化脚本，避免人工错误以及大幅度降低人工检查和登陆主机查手册等时间，节省时间非常可观。 经过大量实际测试，在新的实施方案下,仅需5分钟，就能把生产系统切换到容灾环境，切换和响应时间比原方案有大幅度的降低，提高了系统的可靠性和容灾的可用性。