大规模在线服务的高可用性设计与保障.pdfVIP

大规模在线服务的高可用性保障 xuxia@ SACC2011 SACC2011 自我介绍 许霞 百度运维部高级工程师 网页搜索产品线运维技术负责人 2008年加入百度 联系方式 Hi ：shawnatzju weibo ：shawnatzju SACC2011 SACC2011 搜索框的背后 数十亿流量 数百在线产品 毫秒级响应 99.99%可用性 数万台服务器 每周数百项升级变更 各类故障 SACC2011 SACC2011 背景 • 数百个在线产品 • 几十亿流量 • 100次更新 • 新feature上线 • 万为单位的机器 • 1 ～4%机器故障率 • 99.99%的可靠性 • … SACC2011 SACC2011 数百条在线产品的维护与更新 新服务上线 : 统一的服务准入 服务更新： 健全的变更管理 服务故障： 完备的例行检查 线上变更 控制 线上问题 线上状态 控制 控制 SACC2011 SACC2011 变更管理 变更的审核 变更的记录 变更的复查 SACC2011 SACC2011 例行检查 对关键指标条目化 对条目进行例行检查(daily,monthly…) SACC2011 SACC2011 监控 从模块的角度看性能 从服务的角度看模块 从用户的角度看服务 SACC2011