ACTWeb-大规模系统中的故障.PDFVIP

译文 第 12 卷  第1 期  2016 年 1 月 大规模系统中的故障* 作者：本·毛雷尔(Ben Maurer) 关键词 ： 大规模分布式系统　故障诊断　事故复审 译者：杨任宇　欧阳晋　胡春明 脸谱最佳 实践 ：面对快速变化的 系统可靠性。 故障已经成为任何大规模系统工程中的一部分。 误的硬盘驱动器）和搜 脸谱(Facebook) 的价值观之一就是拥抱故障。门洛 索未知问题的异常征兆 帕克市(Menlo Park) 脸谱总部的墙上，悬挂着这样的 （如替换那些响应时间 海报：“假如没有恐惧，你会做什么？”和“天佑勇者”。 异常慢的服务器）相结 为了让脸谱在快速变化中保持系统的高可靠 合，达到自动检测与处 性，我们研究了通用的故障模式，并构建了用于处 理故障的最佳效果。当 理故障的各种抽象。这使我们能够采取最好的措施 自动化方法找出了某个 确保在脸谱的整个基础设施中提高系统可靠性。为 未知问题的征兆时，就 了指导我们抽象出可靠性概念，就必须理解大规模 可以通过人工检查帮助 系统中的故障。为此我们构建了故障诊断工具和事 我们开发出更好的工具 故复审(incident review) 机制，来推动我们不断改进 来检测并解决未来可能 系统，并预防未来的故障。 出现的问题。 虽然每一种故障都有自己特有的情形，但是， 合法负载发生变化 很多故障都能归结到为数有限的几个根本原因上。 脸谱用户的行为 单机故障 方式变化有时会给计算 一台单独的机器经常会发生孤立的故障( 例如， 基础设施带来挑战。例 某台机器的硬盘驱动器出现了故障，或部署在某台 如，发生世界范围的重 机器上的软件服务出现了诸如内存崩溃或死锁等代 大事件时，独特的负载 码缺陷)。这种故障不会影响到基础设施的其他部分。 类型会以异乎寻常的方 避免此类单机故障的关键是实现自动化。自动 式增加计算基础设施的 1 · 化可以将已知的故障模式 （如产生S .M .A .R .T. 错 压力。贝拉克 奥巴马 * 本文译自Communications of the ACM , “Fail at Scale”, 2015, 58(11):44~49一文。 1 S.M.A.R.T. (Self-Monitoring,Analysis and Reporting Technology)：自动监测、分析和报告技术。——译者注 86 第 12 卷  第1 期  2016 年 1 月 1 是对严重程度达到违反用户服务等级协议(Service- Level Agreement, SLA) 的故障事件按时间进行的统计 分析。每违反一次服务等级协议对应着一个没有达到 内部可靠性目标并触发了一次系统报警的实例。由于 我们的目标非常严格，所以这些故障中的大多数都属 于小故障，不会被用户察觉。图1(a) 表明，虽然一周