线上系统日常运维方案.docxVIP

线上系统日常运维方案

1方案背景与核心目标

1.1方案编制背景

我在运维岗位干了快六年，经手维护的线上系统从最早的2个业务系统，慢慢增加到现在的16个，覆盖了用户管理、交易支付、内容展示等核心业务，服务的用户量也突破了百万级。说句实在话，前几年公司业务扩张快，大家都把重心放在了赶功能、赶上线，重开发轻运维的问题特别突出，我们团队也没把日常运维标准化，全靠几个老员工凭经验盯，结果出过好几次让我记一辈子的故障：一次大促前夕，核心用户系统的服务器磁盘被日志占满了，因为我们没做日常主动巡检，报警阈值又设得太高，等到报警的时候已经完全宕机，我们全员抢修了两个多小时才恢复，最后给用户赔了不少优惠券，公司的品牌也受了影响；还有一次域名SSL证书到期，没人记得跟进更新，早上一上班全用户都没法正常访问，那段时间我们连着半个多月天天加班救火，所有人都熬得筋疲力尽。也就是那时候我下定决心，必须整理一套标准化的日常运维方案，把该做的事明确到天、明确到人，把隐患消灭在萌芽状态，不能再吃这种没准备的亏。

1.2方案核心目标

这套方案落地之后，我们主要要达成四个目标：第一是保障所有线上系统的年度可用率不低于99.9%，满足业务和用户的基本需求；第二是实现隐患前置处理，把百分之八十以上的故障消灭在发生之前，减少突发故障的次数；第三是规范故障处理流程，一旦出问题能快速定位、快速解决，把故障影响的范围和时间降到