内存数据库技术白皮书.pdf

内存数据库技术白皮书 前 言 随着移动互联网的飞速发展，信息系统的互动性日益增强、用户 规模不断攀升，催生出一大批高并发、低时延的新兴应用，这些应用 需求对传统系统的性能提出了新的挑战，基于磁盘存储的数据库管理 系统由于磁盘读写的速度限制，已经很难满足这类新应用的扩展性和 时延要求。 主要依靠内存来存储数据的数据库管理系统，也称为内存数据库， 成为了解决高并发、低时延数据管理需求的技术路线。近年来，随着 动态随机存储器（DRAM ）容量的上升和单位价格的下降，使大量数 据在内存中的存储和处理成为可能，Redis 、Memcached 等内存数据 库管理软件逐渐成熟，应用范围越来越广。未来几年，随着非易失性 存储器件（NVM ）逐步投入商用，新硬件将会给内存数据库带来更大 的发展机遇。 本白皮书阐述了内存数据库的概念，梳理了内存数据库的发展历 史和核心属性，分析了在电商、直播和电信行业的典型应用场景，并 对主流的内存数据库进行了介绍和对比。白皮书还从技术和管理两个 角度提出了产品选型和硬件选型建议，并总结了内存数据库的发展趋 势。 本白皮书的编写得到了Redis 中国用户组的大力支持，在此表示 感谢！ III 目 录 版权声明 I 前 言III 图 表 目 录V 一、什么是内存数据库 1 （一）内存数据库概述 1 （二）内存技术的成熟与突破 1 （三）内存数据库的发展历程4 （四）内存数据库的优势与挑战7 二、内存数据库的分类及应用场景9 （一）内存数据库的分类9 （二）内存数据库的使用场景 10 三、内存数据库的选型建议 14 （一）内存数据库产品现状 14 （二）内存数据库选型建议 15 （三）硬件选型建议 17 四、内存数据库技术演进趋势 18 （一）内存数据库和传统数据库混合使用将成为主要模式 18 （二）软硬件深度整合为内存数据库开辟新的技术方向 18 （三）协议创新将进一步提升分布式内存数据库的一致性能力21 （四）与容器技术结合为内存数据库提供更强的弹性扩展能力22 五、总结与展望24 参考文献25 附件：缩略语26 IV 图 表 目 录 表 1 1990 年代涌现的商用内存数据库6 表 2 10 款典型内存数据库对比14 图 1 1970 年代至今的内存价格和容量走势2 图 2 存储的金字塔模型3 图 3 内存数据库的发展历程4 图 4 用户信息使用的数据结构 11 图 5 内存数据库选型建议15 V 内存数据库白皮书 一、什么是内存数据库 （一）内存数据库概述 内存数据库又称主存数据库（IMDB/MMDB, In-memory/main memory database ），是一种主要依靠内存来存储数据的数据库管理系 ① 统 。 在数据库技术中，有一类内存优化技术，是在传统的磁盘数据库 中，增加内存缓冲池，也就是常说的共享内存技术，其主要目的是最 小化磁盘访问。 而内存数据库技术，几乎把整个数据库放进了内存中，相较于传 ② 统数据库使用的磁盘读写机制，内存具备更极致的读写速度 ，性能 会比传统的磁盘数据库有数量级的提升。因此内存数据库通常被用于 对性能要求较高的场景中。 （二）内存技术的成熟与突破 1.内存技术的成熟 内存器件的容量密度在快速上升。最早期的内存和今天常见的内 存条不同，是直接焊接在主板上的内存芯片，容量普遍在64KB 以下； 1982 年之后，随着80286 芯片的推出，开始出现30 线（pin ）256KB 的SIMM 内存条，被认为是内存领域的开山鼻祖；在80 年代末，386