一次现场故障处理的总结.DOCVIP

一次实际现场故障处理的总结 2011年7月27日，北京西便门邮政一台安装红旗DC5sp4的服务器在早上运行时ORACLE报错，不能读一个表，导致ORACLE不能正常运行，然后直接影响这台服务器的正常运行。其管理员查看系统内存占用过大，要求红旗公司派下现场给予处理。 经我们现场检查，发现其ORACLE运行时内存共占用54GB左右，而其总的物理内存为64GB。然而待服务器重启后，还未启动ORACLE，内存就被ORACLE用户的进程占用了49GB左右。现场初步判断应该是ORACLE配置的问题。建议让ORACLE公司派人来检查一下问题。我们同时收集了该服务器运行信息回公司分析。第二天给予明确回复。 28日，对昨天下现场工作进行分析总结。 通过这第一次下现场，从中学到不少实用技巧，发现售后服务工作需要有比较全面的知识和技术，才能对故障现象进行深入准确地分析，发现问题，并提出解决或建议方案。 首先，检查系统运行状态主要用到的命令有如下四个： 一、ps命令 ps -ef 显示所有进程，并用ASCII字符显示树状结构，表达程序间的相互关系。 ps -ef | wc -l 统计当前共有多少个进程在运行。 ps -ef | grep oracle 查看与oracle有关的所有进程信息。 具体命令解释如下： 1）ps a 显示现行终端机下的所有程序，包括其他用户的程序。 2）ps -A 显示所有程序。 3）ps c 列出程序时，显示每个程序真正的指令名称，而不包含路径，参数或常驻服务的标示。 4）ps -e 此参数的效果和指定A参数相同。 5）ps e 列出程序时，显示每个程序所使用的环境变量。 6）ps f 用ASCII字符显示树状结构，表达程序间的相互关系。 7）ps -H 显示树状结构，表示程序间的相互关系。 8）ps -N 显示所有的程序，除了执行ps指令终端机下的程序之外。 9）ps s 采用程序信号的格式显示程序状况。 10）ps S 列出程序时，包括已中断的子程序资料。 11）ps -t终端机编号 指定终端机编号，并列出属于该终端机的程序的状况。 12）ps u 以用户为主的格式来显示程序状况。 13）ps x 显示所有程序，不以终端机来区分。 最常用的方法是ps -aux，然后再利用一个管道符号导向到grep去查找特定的进程，然后再对特定的进程进行操作。 二、lsof lsof | grep oracle 查看被打开的与ORACLE有关的文件情况。 lsof全名list opened files，也就是列举系统中已经被打开的文件。我们都知道，linux环境中，任何事物都是文件，设备是文件，目录是文件，甚至sockets也是文 件。所以，用好lsof命令，对日常的linux管理非常有帮助。以下的说明，大部分内容来自lsof的manual文档。我所做的只是在中文翻译的基础上，进行简单的分类说明，并列举最常用的参数。 (一)输出说明 lsof是linux最常用的命令之一，通常的输出格式为： 引用 COMMAND???? PID?? USER?? FD????? TYPE???? DEVICE???? SIZE?????? NODE NAME 常见包括如下几个字段：更多的可见manual。 1、COMMAND 默认以9个字符长度显示的命令名称。可使用+c参数指定显示的宽度，若+c后跟的参数为零，则显示命令的全名 2、PID：进程的ID号 3、PPID 父进程的IP号，默认不显示，当使用-R参数可打开。 4、PGID 进程组的ID编号，默认也不会显示，当使用-g参数时可打开。 5、USER 命令的执行UID或系统中登陆的用户名称。默认显示为用户名，当使用-l参数时，可显示UID。 6、FD 是文件的File Descriptor number，或者如下的内容： （这里很难翻译对应的意思，保留英文） 7、TYPE 引用 IPv4 IPv4的包； IPv6 使用IPv6格式的包，即使地址是IPv4的，也会显示为IPv6，而映射到IPv6的地址； DIR 目录 LINK 链接文件 详情请看manual中更多的注释。 8、DEVICE 使用character special、block special表示的设备号 9、SIZE 文件的大小，如果不能用大小表示的，会留空。使用-s参数控制。 10、NODE 本地文件的node码，或者协议，如TCP等 11、NAME 挂载点和文件的全路径（链接会被解析为实际路径），或者连接双方的地址和端口、状态等 （二）参数 1、不带额外参数运行 lsof path/filename 显示已打开该目录或文件的所有进程信息 lsof `which ht