佛山CRM1节点故障处理报告.pdfVIP

2016年4月29佛山CRM1节点故障处

理报告

编制人：

：

提交时间：2016年4月29日

省公司业务支持

一、故障概述

１、故障发生时间：2016年4月29日14点30分

２、报障时间：2016年4月29日14点30分

３、报障：AMP

４、业务恢复时间：2016年4月29日18点10分

５、故障完成处理时间：2016年4月29日18点10分

６、故障影响范围：佛山区域

７、级别：无

８、故障处理人：新炬二线专家组

９、故障处理简述：4月29日14点20分，佛山1节点主机宕机，佛山一节

点主机。

１０、故障归类：

１１、故障责任单位：

１２、考核扣分：

１３、故障后续跟进人：翟浩

二、故障报障描述

１、故障现象描述

１４、报障描述：4月29日14点30分，佛山1节点主机宕机，佛山一节点主

机。

故障记录工单

BOMC单：

AMS单：

后续优化改进工单：

三、故障处理过程

故障处理过程：

14:18从AMP告警发现，佛山1节点tnsping延迟告警。

14:18检查佛山1节点tnsping无返回结果。

14:26检查佛山2节点CRS日志，在14:23分发现数据库有踢除节点的日志

[cssd(3736040)]CRS-1663:MemberkillissuedbyPID3409910for1members,groupDB+ASM.Detailsat(:CSSGM00044:)in

/oracle/grid_home/11.2.0/grid/log/fscrm-db2/cssd/ocssd.log.

2016-04-2914:23:10.318:

[cssd(3736040)]CRS-1607:Nodefscrm-db1isbeingevictedinclusterincarnation280033686;detailsat(:CSSNM00007:)in

/oracle/grid_home/11.2.0/grid/log/fscrm-db2/cssd/ocssd.log.

14:30发现BOMC出现FSCRM-DB1PINGDOWN告警、FSCRM-DB数据库-集群服务运行及

状态的告警，检查佛山1节点主机ping不通，主机宕机，佛山一节点主机，一

节点的服务飘到2节点，联系文讯和的同事处理。

17:04同事将佛山1节点主机拉起，检查发现佛山1节点数据库实例因主机宕机

被异常终止。

18:10将佛山1节点的数据库实例拉起，将SZS,SZH的服务回切，亚信同事重启应用，业

务恢复正常。

四、告警分析

是

系需中的告警否告警

未命中故障发生时间

统项命时间

中

目前只有ping的延迟告