生产环境异常问题排查流程.pdfVIP

生产环境异常问题排查流程 目前生产环境异常问题主要体现下调用应用程序服务失败，调用应用程序慢、没反应等 情况，针对以上几点异常，主要在以下方面进行重点排查。 PS:优先原则，先保存日志再重启 server 一．调用应用程序失败 分为两个情况， 调用应用程序反馈 404 报错异常， 调用应用程序反馈 5xx 异常， 调用应用程 序抛出异常。 1、404 ，5xx 报错 两种情况，应用程序部署异常，未勾选相关的 SERVER 或 SERVER 无响应（快宕机） 排查流程如下： （1）登陆控制台检查应用程序部署状况 排查重点：应用程序状态是否为活动，活动即正常。 状态解释 活动：应用程序正常运行，对外提供所有服务 准备就绪：应用程序以及部署到对应的 SERVER ，尚未对外提供服务 失败：应用程序部署失败 （2 ）检查部署的 SERVER 控制台 --部署 --选择应用程序 目标 检查是否已经勾选上对应的 SERVER ； 勾选上：将应用部署到对应的 SERVER 。 未勾选：应用没有部署到这个 SERVER 。 （3 ）测试部署的应用程序是否能访问 控制台 --部署 --选择应用程序 测试 选择测试点的 URL ，检查是否能正常访问。 重点排查测试点 URL 列表是否和前面勾选上的 SERVER 保持一致； URL 是否能访问。 若以排查均为有异常，进行以下操作 （4 ）SERVER 运行情况检查 控制台 环境 --服务器 状态 Running ：SERVER 运行正常 Shutdown ：SERVER 宕机 Waring ：SERVER 报警，请检查 SERVER 运行情况（建议重启） 2、调用应用程序抛出异常 出现这种情况需要在后台查看 error 日志，要求调用方重新调用，定位抛出的异常信息 （1）确认哪个环境出现问题 与反馈方确认，确定调用出现异常的集群 （2 ）登陆对应集群查看 SERVER 的 error 日志 相关的 SERVER 集群详情见附件 SERVER 的 error 日志目录： SERVERNAME/bin 查看 error 日志命令： tail -f SERVERNAME.error.log （3 ）通知反馈方重新调用 （4 ）通过 error 日志定位异常信息，并反馈给开发组协助排查。 二．调用应用程序慢、没反应 1、硬件服务器性能消耗过大 主要体现在 CPU 使用率过高，内存消耗过大，磁盘空间不足 （1）CPU 使用率过高排查 登录后台服务器，通过 top 命令查看硬件服务器运行状况；通过 Ctrl+m 进行排序，查看进 程使用 CPU 效率情况。 PID ：对应的进程 ID 号 执行 ps -eLo pid,ppid,tid,pcpu,comm | grep $PID 查找进程中消耗 CPU 使用率最高的进程 服务器 (对应的 server ；通过 ps -ef|grep PID) — 监视 — 线程 —转储线程堆栈 根据 tid 值查找对应的线程 或者多次执行 kill -3 PID 生成 javacore ； 若控制台出现异常无法打开，可以执行以下操作进行线程转储堆栈收集 执行： kill -3 pid 相关内容在 SERVER 的 output 输出日志中（ sun ） 相关内容在 SERVER 的 error 输出日志中（ jrockit ） （2 ）内存消耗过大 (基本不会出现这样的情况 ) 通过 free -g 命令查看硬件服务器内存消耗情况 （3 ）磁盘空间不足 通过 df -h 查看硬件服务器磁盘信息 若磁盘不足，清空部分日志信息即可。 2、生产环境集群配置有问题 主要体现在 JVM 内存