定时任务监控告警与失败重跑处置台账.docxVIP

定时任务监控告警与失败重跑处置台账

任务登记与分级

××先把所有定时任务登记在册，约60个任务记清用途、周期、依赖、负责人、影响范围，漏登记的僵尸任务每月清零一次，上季度清出约8个没人认领的。

任务分3级：一级资金与对账类约12个、二级报表与同步类约25个、三级清理与预热类约23个。分级决定告警力度和重跑权限，一级失败即时电话、三级次日处理。

每个任务挂唯一编号、进调度平台。××靠编号串起日志、告警、台账三处记录，查一个任务时不用在约5个系统间来回横跳。

分级

任务数

周期

失败响应

重跑权限

一级资金

约12个

每约1小时

约5分钟电话

组长批

二级报表

约25个

每日约1次

约15分钟推送

负责人自决

三级清理

约23个

每周约1次

次日处理

负责人自决

跨系统同步

约9个

每约30分钟

约10分钟推送

双人确认

数据备份

约5个

每日约1次

约5分钟电话

组长批

调度配置与幂等设计

定时任务最怕重入和撞车。××要求每个任务幂等，重复执行结果一致，加分布式锁防止同一任务在约2个实例上并跑，锁超时约10分钟自动释放。

调度错峰。××把约60个任务的整点触发摊到约1小时内的不同分钟，避免约20个任务同一分钟一起打数据库，把瞬时并发压到约5个以内。

超时要有兜底。××给每个任务设运行上限，一级约15分钟、三级约30分钟，超线强制中断并告警，别让它挂着占资源到天亮，中断后可安全重跑。