2016年5月25日STCRM-DB1分区重启故障分析报告.pdfVIP

一、故障概述

故障发生时间：

2016年5月25日02:47

报障时间：

2016年5月25日03:20

接报时间：

2016年5月25日03:30

报障：

丰德报障STCRM-DB1分区重启，请求协助。

业务恢复时间：

STCRM-DB1分区重启后，数据库自动切换到STCRM-DB2分区，业务不受影响。

故障完成处理时间：

05:20丰德恢复STCRM-DB1系统环境后交付新炬启动数据库。

故障影响范围：

STCRM-DB1分区重启后，数据库自动切换到STCRM-DB2分区，业务不受影响。

故障涉及主机分区：

机型序列号主机名IP

9179-MHC06D2C4RSTCRM-DB110.252.23.130

故障处理人：

（新炬公司）

（公司）彭勃

（公司）

故障归类：

CPUsys%和usr%部分在重启前突增，使用率到达了100%，疑似CPU繁忙导致

oracle的守护进程OPROCD无法获取CPU时间，计数器超时后，认为集群出现

脑裂，为了保护数据一致性而调用reboot()函数重启主机。

故障责任单位：

考核扣分：

故障后续跟进人：

（新炬公司）

（公司）

（丰德公司）

二、故障报障描述

１、故障现象描述

报障描述：

2016年5月25日03:30，接丰德报障，STCRM-DB1分区重启，请求协助。

故障现象：

STCRM-DB1分区重启。

1.Faultoverview

Failureoccurred:

May25,201602:47

Reportingtime:

May25,201603:20

receptiontime:

May25,201603:30

Reportingchannels:

FengdereportedaproblemandrestartedtheSTCRM-DB1partition,requesting

remoteassistance.

Businessrecoverytime:

AftertheSTCRM-DB1partitionisrestarted,thedatabaseautomaticallyswitchestotheSTCRM-DB2partition,andthebusinessisnotaffected.

Faultcompletionprocessingtime:

05:20FengderestoredtheSTCRM-DB1systemenvironmentanddeliveredthenewJustartup

database.

Scopeofimpactoffailure:

AftertheSTCRM-DB1partitionisrestarted,thedatabaseautomaticallyswitchestotheSTCRM-DB2partition,andthebusinessisnotaffected.

Thefaultinvolvesthehostpartition:

机型序列号主机名