memcached代码分析详解.doc

《memcached分析详解 修订日期 修订内容 版本 修订人 2009-3-13 初始化 江军 目　录 1. 文档目的 1 1.1. 前言 1 2. memcached是什么 2 2.1. memcached的特征 2 3. memcached适合的场合 4 4. memcached的代码分析 5 4.1. main流程 5 4.2. memcached服务流程(TCP) 6 4.3. memcached状态转换和通信协议处理 7 4.4. memcached核心数据结构 7 4.5. Slab Allocation机制：整理内存以便重复使用 8 5. memcached的使用优化 10 5.1. 命中率 10 5.2. 空间利用率 11 5.3. 加速比 12 5.4. 安全性能 12 6. memcached的测试分析 13 6.1. 读写memcache指令测试 13 6.2. 服务端系统负载 13 6.3. 空间分配,命中率 14 7. memcached的中间层客户端编写 16 8. libevent简介 17 9. memcached应用 18 10. 结束语 20 文档目的牛人真多啊，向先行者致敬！emcached是什么 ??? memcached广泛应用在大负载高并发的网站上，是一种非常成熟的产品（称为一项技术也未尝不可）。像 facebook，youtube,yahoo,sina，sohu，netease，豆瓣等网站均或多或少使用了该项产品。memcached在以用户为中心的网站上，表现尤其突出，例如sns,blog等web2.0应用的站点。这些站点一般来讲，特别注重用户体验，用户对服务器的响应速度要求很高， 用户数据相对比较复杂、关连度比较高，需要经常对数据库进行更新和检索。 许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。 但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。 这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。 一般使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、 提高可扩展性。 memcached的特征memcached的服务器客户端通信并不使用复杂的XML等格式， 而使用简单的基于文本行的协议。因此，通过telnet 也能在memcached上保存数据、取得数据。下面是例子。 $ telnet localhost Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is ^]. set foo 0 0 3 （保存命令） bar （数据） STORED （结果） get foo （取得命令） VALUE foo 0 3 （数据） bar （数据） 2）为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。 由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。 另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。 memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？ 这完全取决于客户端的实现。emcached适合的场合 emcached是“分布式”的内存对象缓存系统，那么就是说，那些不需要“分布”的，不需要共享的，或者干脆规模小到只有一台服务器的应 用，memcached不会带来任何好处，相反还会拖慢系统效率，因为网络连接同样需要资源，即使是UNIX/Windows本地连接也一样。 测试数据显示，memcached本地读写速度要比直接.NET内存数组慢几十倍，而APC、共享内存方式都和直接数组差不多。可见，如果只是本地级缓 存，使用memcached是非常不划算的。Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作等开销，而且它是使用内存来管理数据的， 所以它可以提供比直接读取数据库更好的性能，在大型系统中，访问同样的数据是很频繁的，memcached可以大大降低数据库压力，使系统执行效率提升。 另外，memcached也经常作为服务器之间数据共享的