技术问题排查标准化工具集.docVIP

技术问题排查标准化工具集

一、适用场景与问题类型

本工具集适用于各类技术场景下的系统故障、功能异常、功能缺陷等问题排查，覆盖以下常见类型：

系统类问题：服务宕机、进程崩溃、资源耗尽（CPU/内存/磁盘/网络）、集群故障等；

功能类问题：接口响应慢、吞吐量下降、高并发场景下瓶颈、数据库查询效率低等；

安全类问题：漏洞触发、异常登录、数据泄露、恶意攻击行为等；

用户体验类问题：页面显示异常、功能不可用、操作流程卡顿、数据不一致等；

环境类问题：配置错误、依赖版本冲突、环境差异导致的问题、中间件故障等。

二、标准化排查流程与操作步骤

技术问题排查需遵循“受理-定位-解决-验证-复盘”的闭环流程，具体步骤

（一）问题受理与初步判断

问题接收

通过统一渠道（如工单系统、IM群、邮件）接收问题反馈，记录问题基本信息：问题描述、发生时间、影响范围、用户/系统名称、复现频率等。

示例：“用户*反馈，支付模块于2024-05-0114:30提交订单时提示‘系统繁忙’，影响约100笔交易，持续约10分钟”。

初步分类与优先级评估

根据问题影响范围和紧急程度划分优先级（P0-P4）：

P0：核心业务不可用，影响大面积用户（如全站宕机）；

P1：核心业务功能异常，影响部分用户（如支付失败）；

P2：非核心功能异常，影响较小（如某个页面样式错乱）；

P3：功能问题，无明显功能影响（如页面加载慢1秒）；

P4：优化建议或潜在风险。

明确初步排查方向（如网络、服务、数据库、配置等），避免盲目操作。

（二）信息收集与记录

关键信息收集

系统信息：服务器IP、操作系统版本、中间件版本（如Nginx、Tomcat）、应用版本、部署环境（测试/生产/预发布）；

日志信息：应用日志（Error/Info级别）、中间件日志（如Nginxaccess/errorlog）、数据库慢查询日志、操作系统日志（/var/log/messages）；

监控数据：CPU/内存/磁盘使用率、网络流量、接口响应时间、错误率（如Prometheus、Zabbix监控数据）；

复现信息：复现步骤、输入参数、异常截图/录屏、用户操作环境（浏览器/客户端版本）。

信息整理与归档

使用统一模板记录收集信息（见本文“配套工具模板”部分），避免信息遗漏；

对日志、监控数据等关键信息打时间戳，定位问题发生时间窗口。

（三）根因分析与定位

分层排查法

按照“基础设施-网络-中间件-应用-数据”分层排查，逐步缩小范围：

基础设施层：检查服务器状态（是否宕机、硬件故障）、磁盘空间（是否满）、进程状态（是否存在僵死进程）；

网络层：检查端口是否开放（如telnet/nc测试）、网络延迟（ping/traceroute）、防火墙/安全组规则（是否拦截）；

中间件层：检查中间件配置（如Tomcat线程数、Nginx负载均衡策略）、中间件日志（如启动失败、连接超时）；

应用层：检查代码逻辑（是否有空指针、死循环）、依赖服务（如调用第三方接口是否超时）、缓存（如Redis连接是否正常）；

数据层：检查数据库连接数、慢查询SQL、表锁、数据一致性（如主从同步延迟）。

根因分析工具

日志分析工具：ELK（Elasticsearch+Logstash+Kibana）、Splunk，用于过滤、聚合日志；

监控可视化工具：Grafana、Prometheus，用于分析监控指标趋势；

功能分析工具：JProfiler（Java）、Arthas（Java诊断）、perf（Linux功能分析）；

问题分析法：5Why分析法（连续追问“为什么”定位根本原因）、鱼骨图（从人、机、料、法、环、测维度分析）。

结论输出

明确根因（如“数据库连接池满导致服务不可用”）、直接原因（如“未及时释放数据库连接”）、影响范围（如“影响20%的用户支付请求”）。

（四）解决方案制定与实施

方案设计

区分临时方案和永久方案：

临时方案：快速恢复业务（如重启服务、扩容资源、回滚版本）；

永久方案：彻底解决根因（如优化代码、修改配置、增加监控）。

评估方案风险：临时方案是否引入新风险（如重启可能导致数据丢失），永久方案实施时间和资源投入。

方案审批与实施

临时方案需经技术负责人*审批后快速实施；

永久方案需通过评审（代码评审、方案评审），明确实施步骤、责任人、时间节点；

实施过程记录操作日志（如“2024-05-0115:00：重启支付服务，观察5分钟无异常”）。

（五）验证与复盘

问题验证

功能验证：按复现步骤测试，确认问题已解决；

功能验证：监控关键指标（如响应时间、错误率），确认恢复正常；

回归测试：关联功能测试，避免引入新问题。

复盘总结

召开复盘会（由技术负责人*主持），内容包括：

问题根因回顾、解决过程评估、经验教训总结；

流程优化建议（