Memcached那些事.pptVIP

Memcached那些事 中文站技术部 赵一涵 2008-08-08 分享内容 Memcached server的实现(内存管理) Memcached 协议 Memcached client 简介 我们的使用现状 Cache简介 Cache定义：由于某些数据的获取或计算成本较大，往往彩将其预先算好或复制到更快的存储设备中，称为Cache (来自wikipedia) Cache最早出现于CPU设计领域 Web Cache (Web Browser, CDN) Server内部Cache 我们应用用到的Cache Database cache Ibatis cache Os cache TBStore Memcached 自己实现的Cache Memcached简介 high-performance, distributed memoryobject caching system intended for use in speeding up dynamic web applications by alleviating database load Danga : LiveJ 20M PV, 1M user /memcached/ 通过协议规定了server的职责 Memcached Server 网络通信 + 内存管理 基于libevent的事件处理 内置内存存储方式 简单的协议 分布式？集中式？ Item的结构 Item的结构 除了保存必要的key-value对之外，item结构还定义了其他一些属性(上图是1.2.5版本中的item结构) 三个指针字段的作用是构造链表，具体的使用情况在下面两节会提到 time表示这个item最后一次被访问的时间, exptime为过期时间(相对时间，参考点是服务器启动时间) 几个长度字段 slab_clsid会在下面做详细介绍 整个结构体(不含key,suffix,data部分)占40个字节内存空间 Item的查找－hash item的查找－hash 采用普通的hashtable的实现，将key作hash，相同hash的item将以链表方式存放，如上图 item构造中的h_next指针就是用来构成这个链表的 hash函数的具体实现可以参考/bob/hash/doobs.html ，这同时也是一篇非常不错的分析hash函数的文章 注意：为了达到良好的一次命中率，hashtable是会自动扩展的。hashtable所占的内存约为item_num * 4byte * 4/3。如果一个cache实例中的item数量极多(100M或更多)，这张hashtable本身的内存占用就不可忽视。在以小对象为主的缓存中，这一点是要引起重视的。 Item的存放 Item的存放－术语表 slab,page: 内存中的一个分块，一般以1Mbyte为单位或略小于这个值 chunk: 一个slab内部又会被分割为相等大小的若干块，以存放适合大小的item slab class: 按chunk的大小，slab会分成不同的类别，前述的slab_clsid就是这个类别的id slot,free chunk: item被移除后空的chunk，不会归还内存，留着给下一个适合大小的item使用 内存组织方式带来的问题 内存浪费 item基本总是小于chunk的，chunk size - item size这段空间被浪费。平均而言，浪费的内存和总内存的比将会达到 (factor - 1) / 2，factor为1.25时，这个比值为12.5%。减少这种内存浪费的一个办法是减小factor的值，让chunk大小增长更缓慢。当然，过小的factor值也会带来一个问题，因为最多只能有200个slab class，所以需要计算好。 有很多slab class中可能会没有item或只有很少的，这取决于你的item大小是分散分布的还是集中分布的。极端情况下，你的item是定长的，那它只会分布在一个slab class中，其他class初始化时分配的一个slab大小的空间都是浪费的。 内存组织方式带来的问题(续) slab回收和复用问题 上述实现中，slab只会被分配而不会被回收，如果这个slab class中不断地有item进来，那这是一个优点。但如果一个slab class一开始存放了很多item。然后新进来的item大小发生变化，又都存放到其他slab class中去了呢？这个slab class无疑多占了很多空间，而且当item开始过期，有很多slab应该被收回。 memcached本身有slab回收机制，如果开启，将把slab大小统一设置成1Mb。 Item的逐出－LRU队列 Item的逐出 当没有可用的空间给新来的item时，会按最近最