分布式存储系统的雪崩效应.docxVIP

分布式存储系统的雪崩效应 分布式存储系统是将数据存放在多个服务器上，同时按照一定规则做备份， 冗余出 2-3套副本，以保障有服务器出故障时，整个系统不受影响，依旧可用。 当一部分服务器节点出故障无法访问的时候，存储在故障服务器上的副本无法访问，分布式系统会自动复制健康的数据，保证再有服务器节点无法访问时， 数据不会丢失，这个策略就叫做副本补全策略。 然而在一段时间内数目较多的宕机事件有较大可能性诱发系统的大规模副本补全策略。目前的分布式存储系统的两个特点导致这个大规模副本补全策略容易让系统产生雪崩效应： 集群整体的 free空间较小：通常整体=30%, 局部机器小于=20% 甚至 10% 应用混布：不同的应用部署在同一台物理/虚拟机器上以最大化利用硬件 资源 南京宝云官网每天发布最新的技术笔记，敬请关注！ 各种网盘、云盘类服务就是a 的典型情况。为运营成本的考虑，后端分布式存储系统的空闲率很低。而瞬间的批量宕机会带来大量的副本修复，大量的副本修复很有可能继而打满原本就接近存储 quota的其他存活机器，继而让该机器处于宕机或者只读状态。如此继续，整个集群可能雪崩，系统残废。 预防雪崩的方法 跨机架副本选择算法和机器资源、用户逻辑隔离 让集群流控起来 提前预测、提前行动4.安全模式 安全模式是项目实践过程中产生的防分布式存储系统雪崩大杀器。其基本思路是在一定时间内宕机数目超过预期上限则让集群进入安全模式，按照策略配 置、情况严重程度，停止修复副本、停止读写，直到停止一切操作（一般策略）。