深入了解Redis内存模型.docxVIP

深化了解Redis内存模型 作为数据库，数据是最次要的部分；这部分占用的内存会统计在used_memory中。 Redis使用键值对存储数据，其中的值（对象）包括5品种型，即字符串、哈希、列表、集合、有序集合。这5品种型是Redis对外供应的，实际上，在Redis内部，每品种型可能有2种或更多的内部编码实现；此外，Redis在存储对象时，并不是直接将数据扔进内存，而是会对对象进行各种包装：如redisObject、SDS等；这篇文章后面将重点引见Redis中数据存储的细节。 2、进程本身运转需要的内存 Redis主进程本身运转确定需要占用内存，如代码、常量池等等；这部分内存大约几兆，在大多数生产环境中与Redis数据占用的内存相比可以忽视。这部分内存不是由jemalloc安排，因而不会统计在used_memory中。 补充说明：除了主进程外，Redis创建的子进程运转也会占用内存，如Redis执行AOF、RDB重写时创建的子进程。当然，这部分内存不属于Redis进程，也不会统计在used_memory和used_memory_rss中。 3、缓冲内存 缓冲内存包括客户端缓冲区、复制积压缓冲区、AOF缓冲区等；其中，客户端缓冲存储客户端连接的输入输出缓冲；复制积压缓冲用于部分复制功能；AOF缓冲区用于在进行AOF重写时，保存最近的写入命令。在了解相应功能之前，不需要晓得这些缓冲的细节；这部分内存由jemalloc安排，因而会统计在used_memory中。 4、内存碎片 内存碎片是Redis在安排、回收物理内存过程中产生的。例如，假如对数据的更改频繁，而且数据之间的大小相差很大，可能导致redis释放的空间在物理内存中并没有释放，但redis又无法有效利用，这就构成了内存碎片。内存碎片不会统计在used_memory中。 内存碎片的产生与对数据进行的操作、数据的特点等都有关；此外，与使用的内存安排器也有关系：假如内存安排器设计合理，可以尽可能的削减内存碎片的产生。后面将要说到的jemalloc便在把握内存碎片方面做的很好。 假如Redis服务器中的内存碎片已经很大，可以通过平安重启的方式减小内存碎片：由于重启之后，Redis重新从备份文件中读取数据，在内存中进行重排，为每个数据重新选择合适的内存单元，减小内存碎片。 三、Redis数据存储的细节 1、概述 关于Redis数据存储的细节，涉及到内存安排器（如jemalloc）、简约动态字符串（SDS）、5种对象类型及内部编码、redisObject。在叙述具体内容之前，先说明一下这几个概念之间的关系。 下图是执行set hello world时，所涉及到的数据模型。 ? 图片来源：/7-20218/ （1）dictEntry：Redis是Key-Value数据库，因而对每个键值对都会有一个dictEntry，里面存储了指向Key和Value的指针；next指向下一个dictEntry，与本Key-Value无关。 （2）Key：图中右上角可见，Key（”hello”）并不是直接以字符串存储，而是存储在SDS结构中。 （3）redisObject：Value(“world”)既不是直接以字符串存储，也不是像Key一样直接存储在SDS中，而是存储在redisObject中。实际上，不论Value是5品种型的哪一种，都是通过redisObject来存储的；而redisObject中的type字段指明白Value对象的类型，ptr字段则指向对象所在的地址。不过可以看出，字符串对象虽然经过了redisObject的包装，但仍旧需要通过SDS存储。 实际上，redisObject除了type和ptr字段以外，还有其他字段图中没有给出，如用于指定对象内部编码的字段；后面会具体引见。 （4）jemalloc：无论是DictEntry对象，还是redisObject、SDS对象，都需要内存安排器（如jemalloc）安排内存进行存储。以DictEntry对象为例，有3个指针组成，在64位机器下占24个字节，jemalloc会为它安排32字节大小的内存单元。 下面来分别引见jemalloc、redisObject、SDS、对象类型及内部编码。 2、jemalloc Redis在编译时便会指定内存安排器；内存安排器可以是 libc 、jemalloc或者tcmalloc，默认是jemalloc。 jemalloc作为Redis的默认内存安排器，在减小内存碎片方面做的相对比较好。jemalloc在64位系统中，将内存空间划分为小、大、巨大三个范围；每个范围内又划分了很多小的内存块单位；当Redis存储数据时，会选择大小最合适的内存块进行存储。 jemalloc划分的内存单元如下图所示： ? 图片来源：/z