嵌入式内存数据库的研究与设计论文.pdfVIP

嵌入式内存数据库的研究与设计 张效尉，李蔚，李刚 (郑州轻工业学院计算机与通信工程学院，河南郑州450002) 摘要：近年来，各种嵌入式内存数据库不断涌现，但由于各种原因，很多产品不具有通用性、高效性、可靠性，以致于很难 在市场上推广开来。针对上述情况，提出一种新的嵌入式内存数据库的设计方法，该方法结合当前流行的java语言和面向对 象的思想，充分利用Java语言本身的多线程机制，研究出基于多线程机制的嵌入式内存数据库的事务模型，检测点方法和恢 复策略，同时对数据库的存储管理和索引机制进行了探讨。实践证明，相对于其它产品，本方法能大幅度的提高嵌入式内存 数据库的性能。 关键词：嵌入式内存数据库，事务，日志，检查点 中图分类号：TP311文献标识码：A 文章编号： 0引言 随着硬件的发展，内存的容量在不断扩大，人们长期思考的将全部或大部分数据存放在内存中运行成 为可能。同时，嵌入式设备在日常生活中得到广泛应用，如何对其内部日益繁多的数据进行管理显得很关 键。当前嵌入式内存数据库产品很多，大多数产品由于各方面的限制，在性能和市场前景方面欠佳。在嵌 入式内存数据库研究领域，新的存储与索引方法被不断提出，同时面向对象的程序设计语言Java作为当前 主流开发语言，在多线程和死锁处理方面有其独特之处，为提出新的嵌入式内存数据库的设计方法，及基 于事务模型的恢复方法提供了可能。 1嵌入式内存数据库概述 嵌入式内存数据库的设计一般采取两种思路：一种是对传统的大型数据库进行裁剪和改进，很多处理 问题的方法仍采用传统数据库的方法，某些方法在嵌入式内存数据库不适用则做些稍微改进，这种思路没 有逃离传统数据库设计思想的束缚。另一种则是根据嵌入式内存数据库自身的特点，提出新的体系结构， 存储结构和恢复机制，以满足嵌入式内存数据库的要求。目前，第二种方法被普遍采用和推崇，本文新的 设计方法就采用后者。 1．1嵌入式内存数据库的概念 关于嵌入式内存数据库至今仍没有明确的标准定义，但人们普遍以数据库的“工作版本”在内存或在 磁盘作为嵌入式内存数据库与磁盘数据库的重要区别。 均有： DB为一个嵌入式内存数据库，简记为EMMDB[1I。 1．2嵌入式内存数据库的特点 嵌入式内存数据库将自己的工作版本放在内存中运行，常驻内存，体系结构设计优化的目标是提高内 存和CPU使用效率，而不再是磁盘数据库的提高吞吐量和减少I／o操作次数。因此嵌入式内存数据库相对 于磁盘数据库有其自身的特点，具体如下： (1)嵌入式内存数据库大多在内存受限，易失性的环境中运行，因此其体积小且功能受限。 (2)无管理的运行和可预报性，可裁剪且可靠性高。 (3)不需要内存缓冲区，CPU能直接对数据进行修改，常规的索引结构不适合嵌入式内存数据库，多 采用T树结构。 (4)事务模型较磁盘数据库复杂，在满足．ACID特性的基础上，还需满足实时性，多采用Redo日志协 议，模糊检查点方法，适合自身的恢复算法。 367 1．3嵌入式内存数据库的体系结构 在新的体系结构中，我们采用关系数据模型，最上层提供外 部查询接口，支持多种常用语言如C，java等连接数据库。第二层 是对SQL语句进行解析的查询命令分解与优化层，这一层下面是两 个重要的模块，数据组织与管理和事务管理器。其中，数据组织 与管理模块完成常用的索引和数据组织工作，事务管理器具有创 建事务，调度事务，回收事务的功能。内存工作区是该体系结构 最重要的模块，全部数据操作及日志处理在这里进行，它在事务 处理时为每一个事务分配一个内存工作区，其中记载数据和目志。 日志管理器管理内存工作区的日志，而恢复管理器则在系统出现 故障时起作用。该数据库大部分操作在内存工作区中运行，只有 图一嵌入式内存数据库结构图 当发生检查点操作和数据库备份时，及系统恢复时才与外面的磁 盘打交道，因此该数据库是典型的嵌入式内存数据库。其体系结构图一如下： 2数据的存储与索引 嵌入式内存数据库通常在内存受限的环境中进行，CPUfl邑直接操纵内存中的数据，且数据经常由于各 种故障而丢失。因此合理的有效利用内存资源，减少内存开销和CPU$旨令数，使内存空间得剑高效利用很 关键，为此我们提出了一种新的存储与索引方法——T树。 2．1T树的特性