memcached使用中避坑实例汇总.docx

第

memcached使用中避坑实例汇总

目录背景大key存储slab钙化大规模key分布变动导致的钙化少量大key变动导致的钙化总结参考

背景

线上启用memcached(以下简称mc)作为热点缓存组件已经多年，其稳定性和性能都经历住了考验，这里记录一下踩过的几个坑。

大key存储

某年某月某日，观察mysql的读库CPU占比有些异常偏高，去check慢查询log，发现部分应有缓存的慢sql居然存在几秒执行一次情况，不符合缓存数小时的代码逻辑。

查看业务log在每次查询sql之后也确实有将结果set至mc之中：

#python代码

mc.set(cache_key,v,3600)

而set返回的取值却是False而非正常的True，很快想到mc著名的只可存储不超过1MB大小的key限制，在以往的业务场景中没有出现过这么大的key，所以一直没达到过这个限制，直到这一次撞上。

要解决超过1MB大小的key存储问题有以下几个思路：

想办法将cache结果变小换个cache组件mc=1.4.2版本其实已经支持命令行参数-I指定最大key大小了，线上使用版本支持最小1KB最大128MB的设置将大key拆分为几个子key，通过set_multi和get_multi实现统一的读写。

无论是通过2或3都可以支持更大的key存储，但是更大的key存储对于读写传输其实都更不友好，而思路4需要手动拆分、组装子key略显麻烦，所以优先从思路1着手，意外发现python使用的memcached库其实提供了key压缩功能，在写入时指定min_compress_len参数即可：

mc.set(key,v,time=expires,min_compress_len=1024)

如上表示写入的v对象序列化大小若=1024则启用压缩存储，库底层会将其压缩后再写入mc，读取时库底层也会自动解压缩后再返回，业务层可以说完全无感，并且压缩后还能极大降低存储和传输成本。

最终通过min_compress_len参数启用大key压缩后，原1MB大小的key直瘦身了4/5。

slab钙化

启用大key压缩后mc度过了好一段岁月静好的日子，直到某一天...

大规模key分布变动导致的钙化

查看zabbix上的相关监控，发现mc的key查询miss比例居然接近50%！这个缓存命中率着实让人深思，进一步check后发现同时异常的指标还有evicteditems数，日常取值居然可以达到数百/S的级别。

mc官方文档对evicteditems的定义如下：

evictedNumberoftimesanitemhadtobeevictedfromtheLRUbeforeitexpired.

即存储的key在其实际过期前被从LRU强制清理了，这一般说明mc剩余可分配内存不足了，所以新key写入时只能先从LRU淘汰一部分key腾出空间后再给新key使用，但是查看mc的内存使用率，明明还有超过2GB的剩余内存可用。

最终调查后真相大白：mc明明剩余大量内存可用，写入新key却不断导致旧key被提前清除的现象其实是mc特有的slab钙化问题所致：

Memcached采用LRU(LeastRecentUsed）淘汰算法，在内存容量满时踢出过期失效和LRU数据，为新数据腾出内存空间。不过该淘汰算法在内存空间不足以分配新的Slab情况下，这时只会在同一类Slab内部踢出数据。即当某个Slab容量满，且不能在内存足够分配新的Slab，只会在相同Slab内部踢出数据，而不会挪用或者踢出其他Slab的数据。这种局部剔除数据的淘汰算法带来一个问题：Slab钙化。

简单来说memcached使用的不同尺寸slab一旦分配完成就不可变了，所以如果某类slab已用尽，即便其他slab剩余大量空闲内存也无法再对其加以利用。

业务这边之前对使用mc的部分缓存key进行了整合优化，在优化之前单mc的全部5GB内存均已根据key存储情况分配给了特定的slab，而优化之后大大降低了小key的数量，取而代之的是相对更紧凑的大key，key的数量和大小分布都发生了显著的变化，于是原有的适用于大量小key的slab分配就无法满足优化后的key存储了。

最终体现为，中等大小的slab内存已被耗尽，每次写入新key只能先通过LRU淘汰部分旧key腾出空间，体现为evicted数异常偏高，并且直接影响了缓存命中率，而小尺寸的slab却长期大量空闲，体现为mc内存使用剩余空间一直充足。

网上检索解决钙化问题有