Lotus Domino宕机故障收集手册.doc

DominoR6.5宕机时故障数据地收集和提交手册 前言 为方便有关人员快速地处理Domino宕机故障，收集故障数据，并与IBM工程师共同排除故障，特编辑本手册。 本手册基于以下环境编写： 主机：IBM P650 ，4CPU,8G内存 操作系统：IBM AIX 5.2 Lotus 版本：R6.5.4 备注：其他环境下的操作方式，可能有些差别。请举一反三进行操作。 一、故障收集前准备工作 设置Notes.ini文件，增加以下参数： DEBUG_THREADID=1 DEBUG_CAPTURE_TIMEOUT=10 DEBUG_SHOW_TIMEOUT=1 HTTPEnableThreadDebug=1 （备注：该参数为HTTP HTTP的DEBUG参数，加入后会导致硬盘空间急剧膨胀，所以如果不是http导致的宕机要慎重使用，而且要定期对硬盘空间进行监控和过期日志的清理，避免硬盘空间不足导致系统无法运行。） Console_log_Enabled=1 重启Domino服务，并等待下次宕机 二、宕机后，Domno服务重启前现场的保护 将Domino服务器数据目录下的IBM_TECHNICAL_SUPPORT文件夹更名，然后重建该文件夹（目的是保护目录下的数据，防止Domino重启后覆盖该文件） 启动Domino服务器 注：如果是HTTP挂起，因为系统不能自动执行NSD，所有要在Domino启动前手动执行NSD命令，让服务器收集足够的Req*文件。 三、宕机后，数据的收集 需要收集的数据包括： Domino 服务器的版本 Domino日志。 IBM AIX操作系统的 \Backup\Dominolog文件下的sj_yyyy mm dd.log 文件，其中yyyy_mm_dd为上次Domino启动日期，如sjlog；该文件的作用等同于Domino的Log.nsf文件（对于Unix之外操作系统的操作系统，因为没有此文件，所以只能收集log.nsf文件），而且比该文件更直观，能快速的发现宕机中断点（文件的最后几行），如： …………………………………… [802916:00037-10795] 2005-04-01 10:17:18 Agent message: 1 [802916:07905-20714] TID=[802916:07905-20714]/K-TID=901265 Stack base=0x39FEA738, Stack size = -488 bytes PANIC: LookupHandle: handle not allocated Stack base = 0x39fea738, Stack size = 1256 bytes Fatal Error signal = 0x0000000b PID/TID/K-TID = 802916/20714/901265 Fri Apr 1 10:17:20 Running NSD NSD is in progress ................. Please attach the following files to your bug report along with the server log: Log file : /notesdata/sj/data/IBM_TECHNICAL_SUPPORT/nsd_all_AIX_FJMSS_DTS1_04_01@10_17.log Fri Apr 1 10:19:34 Termination is in progress Fri Apr 1 10:19:34 Terminating tasks Fri Apr 1 10:19:47 Freeing resources Fri Apr 1 10:19:47 Termination completed Log.nsf（如果有上一条数据，本数据的数据便没太大的必要） Notes.ini Names.nsf（新建拷贝，不带ACL；出于保密考虑，在提交Names.nsf文件前最好先打开把Names里头的用户记录先删除） nsd 日志（文件名为nsd_all...mm_dd@hh_nn.log，其中mm dd@hh nn 为上次宕机） Req* files(HTTP服务器日志，在R6系统，文件名格式为：htthr_pid_tid_date@log_clock.log，其中pid问进程号，tid为线程号，date、clock为故障之前文件创建时间) Notes.ini 操作系统的版本和补丁号 出问题时都有什么进程在运行中、有什么进程占用CPU比较高、有什么进程占用内存比较高？ 硬件的信息（CPU