技术部门操作指南标准化工作程序全解版.docVIP

技术部门日常操作指南标准化工作程序全解版

一、基础设施运维：服务器日常巡检与维护保障流程

核心目标：保证服务器硬件、系统及服务稳定运行，提前发觉潜在风险，保障业务连续性。

操作步骤

巡检前准备

确认巡检范围：需覆盖所有生产服务器（物理机/虚拟机），包括Web服务器、数据库服务器、应用服务器等。

准备工具：远程连接工具（如SSH、RDP）、监控平台账号（如Zabbix、Prometheus）、巡检清单模板。

通知相关方：提前告知业务部门巡检时间段（建议避开业务高峰期，如凌晨2:00-4:00）。

硬件状态检查

通过监控平台或物理检查，确认服务器硬件状态：

CPU使用率：持续超过80%需记录并预警；

内存占用：警惕内存泄漏，保证可用内存不低于总内存20%；

磁盘空间：系统盘预留空间不低于30%，数据盘预留不低于15%；

网络状态：检查网卡丢包率（应＜1%）、带宽使用率（应＜85%）。

系统与服务状态检查

系统层面：检查负载均衡（1分钟负载应＜CPU核心数×0.7）、系统日志（重点关注ERROR/FATAL级别日志）、进程状态（关键进程如数据库、中间件是否运行）。

服务层面：通过c或telnet测试关键服务端口（如80、443、3306）是否可达，响应时间是否超限（Web服务应＜3秒）。

问题处理与记录

轻微问题（如日志警告、磁盘空间略低）：记录至巡检表，制定后续观察计划；

严重问题（如服务不可用、硬件故障）：立即启动故障响应流程（详见“故障处理模块”），并在1小时内上报*运维主管。

巡检报告归档

填写《服务器日常巡检记录表》（见表1），至部门共享文档，保留至少3个月。

表1：服务器日常巡检记录表

服务器ID

IP地址

CPU使用率（%）

内存占用（%）

磁盘空间（%）

关键服务状态

异常描述

处理措施

巡检人

巡检时间

SVR-WEB-01

192.168.1.10

45

62

78

正常（80端口响应200ms）

无

无

*张工

2024-03-1502:30

SVR-DB-01

192.168.1.20

92

85

12

异常（3306端口超时）

数据库连接数过高，触发慢查询告警

重启数据库服务，优化慢查询SQL

*李工

2024-03-1503:15

关键注意事项

巡检周期：生产服务器每日巡检，非生产服务器每周巡检1次；

禁止在未备份数据的情况下直接修改服务器核心配置；

硬件故障需联系硬件厂商支持（如联想、戴尔），保留维修工单备查。

二、故障响应与处理：技术故障分级与应急处置规范

核心目标：快速定位并解决技术故障，降低对业务的影响，明确责任分工与复盘机制。

故障分级标准

故障等级

定义

影响范围

响应时间

处理时限

一级（重大）

核心业务完全中断（如支付、登录服务不可用）

全体用户或核心业务线

5分钟内响应

30分钟内恢复

二级（较大）

重要功能异常（如订单提交失败、数据同步延迟）

部分用户或业务模块

15分钟内响应

2小时内恢复

三级（一般）

次要功能影响（如页面样式错乱、非核心接口超时）

少量用户或边缘功能

30分钟内响应

4小时内恢复

操作步骤

故障上报

发觉人通过企业群/电话通知*值班工程师，同步故障现象、影响范围及截图（如有）；

值班工程师10分钟内登录故障处理平台（如Jira）创建故障单，填写故障等级、初步现象、上报人。

分级判断与预案启动

*运维主管根据上报信息确认故障等级，启动对应应急预案：

一级故障：立即通知研发负责人、业务负责人，成立临时应急小组；

二级故障：协调后端工程师、测试工程师协同处理；

三级故障：由值班工程师主导处理，必要时提请后端支持。

故障定位与处理

一级故障：优先恢复业务（如切换备用服务器、回滚版本），再定位根因；

二级故障：通过日志分析、链路跟进（如SkyWalking）定位问题模块，修复或重启服务；

三级故障：直接排查代码/配置问题，验证修复效果。

进展同步与关闭

处理过程中每30分钟通过企业群同步进展（至故障解决）；

故障解决后，*值班工程师在故障处理平台填写处理过程、根因分析、解决方案，关闭故障单。

复盘与改进

故障关闭后24小时内，组织运维、研发、*业务召开复盘会，输出《故障复盘报告》（见表2），明确改进措施及责任人。

表2：故障复盘报告

故障单号

故障时间

故障等级

影响业务

根因分析

处理过程

改进措施

责任人

完成时限

INC202403150001

2024-03-1510:30

一级

用户支付功能不可用

数据库连接池配置过小，高并发时连接耗尽

立即重启数据库服务，临时扩容连接池；调整连接池最大连接数至200

优化数据库连接池监控告警阈值，增加自动扩容机制

*王工

2024-03-20

关键注意事项

故障处理期间禁止随意修改生产环境，重大操作需经*运维主管书面审批；