20080708-13故障原因分析.docVIP

2008年7月8日-13日系统出现故障报告 致信息公司： 发现ARIMS用户不能登陆以及ORACLE数据库报错，经查实和故障修复，现系统已恢复正常。事故原因及修复过程报告如下： 一、2008年7月8日 故障过程描述： 于2008-07-08日上午9：30接到机场系统室故障电话，称部分新建ARIMS用户不能登录，已用ARIMS客户能正常使用，应用服务器双机监控程序报数据库服务器出现故障现象。我公司接电话后，相关技术人员马上远程进行登录，检查系统配置，发现故障如上所述。因此马上采取应急方案，进行故障解决。经过远程联接，发现后台数据库ARIMS小机出现系统死锁状态，而且远程不能登录系统，因此在远程采取相应解决方案无效后，马上坐车前往机场进行解决，于13：00到达机场现场，进行故障解决。 故障现象分析： 到达现场后，发现ARIMS1小机不能远程telnet，但是IP地址可以PING通。从HMC控制台观察，ARIMS1都是处于运行状态中，没有硬件上的报警。排除ARIMS1硬件问题，是软件应用问题。经过进一步检查，发现从HMC控制台不能通过终端登录系统，故障现象与telnet状态一样，长时间的等待，也没有任何报错提示。观察ARIMS应用终端客户，发现一部分原来长期建立联接的用户一直都在线，都能正常工作，而新建的联接不能建立，不能打开ARIMS客户端。说明系统还是处于运行状态，应用还在运行，只是不能新增任务，从而肯定是此主机应用存在问题，而此主机主要应用为ORACLE数据库，ARISM后台数据库应用。因此从ORACLE数据库进行分析，发现不能通过SQL进行联接，因此可以肯定是ORACLE应用出现问题，导致系统出现死锁。在这种情况下，根据小机维护手册，启动应急方案，对ARIMS1进行重启，把ORACLE应用切换至ARIMS2上，恢复ARIMS应用。经过45秒的切换时间，观察ARIMS应用服务器与客户端，发现都能正常工作。 争对ARIMS1故障进一步分析，ARIMS1重启后，进行系统观察系统日志与机器状态，发现系统报文件目录太小，应用出现故障。下图为系统日志输出。 # errpt IDENTIFIER TIMESTAMP T C RESOURCE_NAME DESCRIPTION F89FB899 0708150008 P O dumpcheck The copy directory is too small. 173C787F 0708124808 I S topsvcs Possible malfunction on local adapter F89FB899 0707150008 P O dumpcheck The copy directory is too small. F89FB899 0706150008 P O dumpcheck The copy directory is too small. F89FB899 0705150008 P O dumpcheck The copy directory is too small. F89FB899 0704150008 P O dumpcheck The copy directory is too small. BFE4C025 0704010008 P H sysplanar0 UNDETERMINED ERROR B9735AF4 0703234508 P H dac1 SUBSYSTEM COMPONENT FAILURE BFE4C025 0703233308 P H sysplanar0 UNDETERMINED ERROR F89FB899 0703150008 P O dumpcheck The copy directory is too small. BFE4C025 0703001808 P H sysplanar0 UNDETERMINED ERROR B9735AF4 0703001708 P H dac1 SUBSYSTEM COMPONENT FAILURE F89FB899 0702150008 P O dumpcheck The copy directory is too small. F89FB899 0701150008 P O dumpcheck The copy directory is too small. F89FB899 0630150008 P O dumpcheck The