《蘑菇街背后系统的稳定性保障实践》.pdf

ArchSummit全球架构师峰会 深圳站2016 蘑菇街背后系统稳定性保障实践 About Me 普通程序猿 12年-至今 蘑菇街，花名苏武 经历数次蘑菇街系统改造，多为打杂 目前专注于系统稳定性相关工作 提纲 往年大促遇到的问题 问题的总结和思考 新思路下双11稳定性备战流程 总结 往年大促遇到的问题 CASE1: 13年双11当天14 ：20 ，一个活动sql导致蘑菇街主数据库慢sql 急剧增加，前端访问hang住，交易下跌80%1个小时 CASE2: 14年双11大促23 ：50后，访问量过大雪崩，全站不可访问15分 钟 CASE3: 15年321大促零点使用优惠券，更新使用数导致数据库行级锁问 题，下单下跌80%10分钟 CASE4: 15年321大促零点下单数据库写入量过大 ，导致数据库hang住， 下单下跌100%15分钟 问题的总结 • 当前的系统架构应对大促有风险(CASE1 ，CASE3) • 当前的系统相互之间的依赖和调用关系不清楚(CASE1 ，CASE3) • 对大促系统峰值没有有效的评估(CASE2 ，CASE4) • 对系统能支撑多少峰值未知(CASE2) • 真出了问题，不能短时间内有效的应对 • 缺少完整的稳定性保障方法论，混乱 问题的思考 • 问题处理的原则 – 解决具体问题，抽象问题后解决一类问题 – 有沉淀，有流程，不能乱 – 工具化，系统化代替人工操作，提高效率 – 最终总结方法论，作为指导思想 新思路下双11稳定性备战流程 系统容量评估 预案整理 系统架构梳理 大促保障 开关，限流降级 全链路压测 新思路下双11稳定性备战流程 系统峰值评估 系统架构梳理 全链路压测 开关，限流降级 预案整理 准备 •根据业 •架构风 •打通蘑 •统一开 •开关， 务目标 险梳理 菇街电 关系统 限流降 推导 •系统依 商主链 •统一限 级操作 •主链路： 赖梳理 路 流降级 手册 商品， •系统强 •生产环 系统 •能预见 交易， 弱依赖 境压测 •开关处 的问题 下单 判断 •根据大 理弱依 处理手 促业务 赖 册 模型来 •限流保 •跨部门