IVVR湖北联通应急方案.docVIP

中国联通IVVR平台 应急方案手册 当前版本： v1.0 修改日期：2011-01-13 文档状态：初稿 作者：李莉 文档信息 文档名称 中国联通IVVR业务平台应急方案手册 作 者 类 别 编 号 文件名称 中国联通IVVR业务平台应急方案手册_V1.0_CN.doc 文件说明 修订历史 版本 日期 章节 类型 作者 摘 要 1.0 2010-3-16 李莉 First version 目 录 文档信息 2 一、前言 4 二、应急方案启动条件 4 三、应急方案 6 （一）IVVR系统应急原则 6 （二）系统内部应急方案 6 四、IVVR网络现状 18 （一）网络的拓扑结构 18 （二）湖北现场机架信息 20 五、破坏原因及破坏结果分析 20 六、预防保障措施 22 七、应急措施 23 八、应急资源配备 24 九、相关人员联系表 25 十、附件：设备故障处理方法 25 （一）服务器故障处理方法： 25 一、前言 随着移动通信网络规模的扩大，用户日趋增多，网络安全已提高到一个极为重要的地位。网络出现任何问题都将会直接影响到用户的使用，进而影响到中国联通的信誉。为向一流移动通信企业迈进，更好地做好联通通信应急保障工作，提高网络应急处理能力，增强企业核心竞争力，保证网络稳定高效的运行及在出现重大故障时能有一套行之有效的应急措施，把损失最小化，特制定本方案。 本册将以本地网为单位，从IVVR系统结构的安全冗余保证、应急情况处理等几个方面分别不展开阐述，目的是要可操作性强、能对网络应急情况和故障处理起直接指导作用。 二、应急方案启动条件 IVVR应急通讯保障方案，是针对IVVR设备在运行过程中或者操作过程中可能出现的紧急问题，如业务中断或系统性能严重下降等而制定的操作指导，其目的是缩短系统中断时间，降低业务损失。 为了将紧急情况下的设备故障与日常维护中出现的设备故障相区分，将IVVR业务的紧急情况界定如下： 按照对业务的影响界定：大面积用户不能使用IVVR业务。 按照设备原因界定：关键模块故障导致IVVR无法正常提供服务，主要包括： IPS800； 视频点播； 视频直播； 视频下载； 视频信箱； 在出现紧急情况后，采用相应的应急措施。从发生业务故障起在30分钟内无法修复时，则应该启动应急方案。具体流程如下： 三、应急方案 （一）IVVR系统应急原则 目前IVVR采用全冗余设计，防火墙、交换机、核心数据库主机均采用双机热备设计，单台设备故障基本不会造成系统业务中断，必要时可以进行冗余设备应急倒换； （二）系统内部应急方案 1. 检查业务是否正常 当维护人员接到故障信息后，首先应进行业务是否正常的检查，以判断故障影响范围，可以通过以下方法检查： 进行业务测试,拨打116920是否可以正常显示主菜单； 任意选择菜单是否可以进入下一级子菜单； 2．做好系统的备份与恢复 通过ufsdump命令进行文件系统的导出 对于IVVR系统中的双机smp1/smp2,am1/am2来说，做系统根目录备份需逐一停机进入单用户模式下进行，其他机器各文件系统均可在线进行备份。 下面以备份/目录至/smp/tmp下的FS_var文件为例说明ufsdump的用法： root# nohup ufsdump 0uf /osp/tmp/FS_var / 注意，系统全文件备份需ASB现场工程师及teamsun工程师共同在场时进行。 将备份服务器上的备份文件转移到磁带机上 备份数据到测试服务器的磁带上 a) 将磁带插入驱动器中，左边槽位为/dev/rmt/1n，右边槽位为/dev/rmt/0n。 b) 检查磁带状态 root# mt –f /dev/rmt/1n status c）将磁带倒回至起始点 root# mt –f /dev/rmt/1n rewind d) 将磁带倒至起始点并弹出 root# mt –f /dev/rmt/1n offline e）将mcp上的备份文件压入磁带中 root# nohup tar cEvf /dev/rmt/0n /smp1/tmp f) 察看磁带机上的内容 tar tvf /dev/rmt/1n 恢复侧带（将磁带插入驱动器） bmcp1# mt rewind bmcp1# ufsrestore tvf /dev/rmt/0n 看到第一个文件后，重复此命令可按顺序恢复。 恢复文件到目录 bpsmf1# cd /osp/ralf1 bpsmf1# mt rewind bpsmf1# ufsrestore rf /dev/rmt/0n (恢复第