内存数据库简介.docVIP

内存数据库 近些年来，各种应用系统对数据库的性能要求越来越高。传统数据库的大量数据都存放在磁盘中，在某些领域已经不能满足极速响应的需求。为了有更快地存取性能，并对用户的请求给予更快的响应，内存数据库应运而生。 内存技术目前正随着主机技术一起快速发展，目前连普通的台式机内存都能达到4GB，而高端小型机的内存可以达到2TB，因此完全可以把一般的中型数据库全部放入内存中。内存容量的快速增长对数据库管理系统有着深刻的影响。在某些场合，将整个数据库或频繁访问的部分数据放进内存是完全可能的，正常的查询处理可以完全脱离硬盘。把数据全部放入内存，这也是目前内存数据库主要的设计思想。 内存数据库的总体设计目标是使内存和CPU的利用率尽可能高，而内存数据库的物理组织是实现该目标的基础，其存储结构、索引结构、中间数据存储结构都必须考虑内存的直接存取这一特征。因此目前内存数据库主要使用两种模式来设计存储结构： 第一种为影子内存模式，一部分是内存数据库的主复制，另一部分存放新增或者改变的数据； 第二种是类似传统的基于磁盘数据库，按照段、区、块等方法组织数据，并优化查询以及数据存储引擎，让数据库以内存为基础存取数据。为了保障数据安全，大多数内存数据库采用两层结构，即前端的内存数据库和后端使用存储介质的后台数据库，变化和新增的前端数据均要定期同步到后端数据库。相应的数据提交也会采用两种方式，即前端提交和后端同步提交。 目前内存数据库的部分产品如Altibase，SolidDB，TimesTen等，已经在证券、电信、航空等领域有一定的应用。从实际使用结果上看，内存数据库确实能够大幅度提升联机事务处理的能力，并大幅度降低响应时间。目前虽然已经有传统数据库顶级产品厂商Oracle收购TimesTen，IBM收购Solid等很多有利于内存数据库发展的好消息，但是内存数据库还是缺乏其他顶级IT厂商的支持，从而使其在高负荷核心领域的应用依然受到诸多限制。但是随着内存数据库广泛的市场需求的不断增大，我们有理由相信内存数据库在未来也会有光明的前景。 内存数据库技术发展历程 一、雏形期从上个世纪60年代末到80年代初。在这个时期中，出现了主存数据库的雏形。1969年IBM公司研制了世界上最早的数据库管理系统------基于层次模型的数据库管理系统IMS，并作为商品化软件投入市场。在设计IMS时，IBM考虑到基于内存的数据管理方法，相应推出了IMS/VS Fast Path。Fast Path是一个支持内存驻留数据的商业化数据库，但它同时也可以很好地支持磁盘驻留数据。在这个产品中体现了主存数据库的主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直接存放在物理内存中访问和管理。在这个阶段中，包括网状数据库、关系数据库等其他各种数据库技术也都逐渐成型。 二、技术理论成熟期1984年，D J DeWitt等人发表了《主存数据库系统的实现技术》一文。第一次提出了Main Memory Database（主存数据库）的概念。预言当时异常昂贵的计算机主存价格一定会下降，用户有可能将大容量的数据库全部保存在主存中，提出了AVL树、哈希算法、主存数据库恢复机制等主存数据库技术的关键理论，为主存数据库的发展指出了明确的方向 。1984年，D J DeWitt等人提出使用非易逝内存或预提交和成组提交技术作为主存数据库的提交处理方案，使用指针实现主存数据库的存取访问。1985年，IBM推出了IBM 370上运行的OBE主存数据库 1986年，RB Hagman提出了使用检查点技术实现主存数据库的恢复机制。威斯康星大学提出了按区双向锁定模式解决主存数据库中的并发控制问题。并设计出MM-DBMS主存数据库。贝尔实验室推出了DALI主存数据库模型。 1987年，ACM SIGMOD会议中提出了以堆文件（HEAP FILE）作为主存数据库的数据存储结构。Southern Methodist大学设计出MARS主存数据库模型。1988年普林斯顿大学设计出TPK主存数据库。 1990年普林斯顿大学又设计出System M主存数据库。三、产品发展期和市场成长期随着互联网的发展，越来越多的网络应用系统需要能够支持大用户量并发访问、高响应速度的的数据库系统，主存数据库市场成熟 半导体技术快速发展，半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的技术可行性逐步成熟 1994年美国OSE公司推出了第一个商业化的，开始实际应用的主存数据库产品Polyhedra 2021年德国SoftwareAG推出了Tamino Database。 2021年日本UBIT会社开发出XDB主存数据库产品