《临时系统紧急预案.docVIP

合肥通银联卡清算中心临时系统应急预案（初稿） 中银通商务支付有限公司 合肥城市通卡股份有限公司 上海华腾软件系统有限公司 1背景 合肥通银联卡系统经过近4个月的建设，系统已经初步具备对外发卡条件。由于系统建设是处于边设计边建设的状况，同时系统的正式硬件系统采购刚刚启动，到货周期需要较长时间，所以目前整个系统是基于一套临时硬件环境进行系统部署。 2编写目的 本预案是为了在临时系统出现故障或者影响系统运行的情况下，能够按照事先编写的预案处理方法进行故障处理，已达到及时排除故障和恢复系统运行。 3预案范围 本预案范围只是针对临时系统的运行进行编写，不能作为今后正式系统的预案内容。临时系统的预案范围包括了系统软件故障、应用软件故障、数据库故障和硬件故障的一般处理。 4风险点预估 根据临时系统的硬件环境（应用和数据库服务分别部署在两台PC服务器、Web客服系统、POSP系统、银联前置系统分别部署在3台PC机），系统可能出现故障或者影响系统正常运行的风险点有如下 4.1软件类： 软件包括系统级故障和应用系统故障。系统级故障包括操作系统和数据库系统；应用系统故障包括清算系统、POSP系统、Web客服系统。 操作系统影响系统运行的故障点可能包括系统运行速度大幅降低、CPU和内存占用率过高、IO操作过于频繁、系统平均负载率过大等。 数据库出现影响系统运行的故障点可能会有数据库突然当机、数据表中的数据异常增加、数据表数据突然丢失等。 应用系统出现影响系统运行的故障主要为联机交易，主要体现在充值售卡、售后服务不能进行；应用系统进程丢失、应用进程日志突然增大、数据库连接失败、加密机连接失败等。 4.2硬件类： 硬件故障包括主机故障、网络设备故障和加密机故障。 5.应急处理流程 6应急预案操作流程 对于第4部分描述的临时系统可能出现的系统故障点，下面就操作处理流程进行说明。 硬件类（待讨论）： 故障类型 查找故障原因 处理方法 备注 操作 主机故障 确认硬件故障模块 更换故障模块 加密机 确认加密机故障 人工切换加密机 主加密机地址：10.0.1.63 备加密机地址： 10.0.1.64 登入POSP后， 执行下列命令： Cd /htsys/etc; Vi htsys.hsm.sh 修改加密机IP地址后，保存退出。 重新启动加密机进程（见软件部分） 网络设备 确认网络设备故障模块 更换故障模块 事先备好重要模块或设备 软件类（待讨论） 系统级 故障点 故障现象 查找故障原因 处理方法 操作 备注 操作系统 系统处理速度下降 检查系统运行健康情况，是否有进程占有系统资源，是否内存和CPU占用率较高 Uptime命令检查系统运行健康状况； Top命令检查进程使用情况 如果出现某些进程占用资源较多，可对其进行停止、杀除等操作。 系统命令： Kill -9 进程id 停止应用进程命令参考应用系统操作部分。 如出现系统资源不能施放等极端情况，可重启系统。命令： Init 6 数据库 以外当机 检查oracle数据库是否还在运行状态、oracle实例是否健在 Lnsrctl命令检查oracle实例是否运行，sqlplus命令检查oracle 是否还能建立连接 停止，所以应用进程。然后试着关闭数据库,关闭成功后重新启动数据库。 关闭数据命令： Shutdown immediate； 启动数据库命令： Startup 如数据库出现重大故障，请系统集成商或oracle工程师协助解决。 数据异常增加 检查异常增加数据表 删除异常数据 Delete 相关表数据或增加相应的表空间 数据意外丢失 检查数据丢失情况 从备份数据文件恢复丢失的数据 Imp导入备份数据文件 应用系统级 应用系统应急预案处理主要分三个部分，分别是POSP系统、清算系统和Web客服系统。当应用系统出现故障时，按已下列表描述进行操作。 POSP系统 上图是POSP进程图，系统正常运行时POSP进程都在上述表内。如果POSP系统出现异常，可先检查POSP进程是否正常。下表是进程说明和启动及停止进程命令。 进程名 功能说明 出现状况 启动命令 停止命令 PCommCon 和web短连接通信进程 通信无响应或者系统错误 在~/htsys/sbin/目录下运行runcommcon 在~/htsys/sbin/目录下运行stopcommcon PBridge 外部报文专程内部报文 出现外部报文转换到内部错报文出错时 在~/htsys/sbin/目录下运行runbdg 在~/htsys/sbin/目录下运行stopbdg PSwith 金融类交易调度处理 金融类交易调度出错时 在~/h