15章-内存数据库系统-数据库系统概论(第五版).pptVIP

相近查询任务的并发处理 优化技术的核心是 通过对大数据表的共享扫描减少并发査询时独立大表扫描所产生的cache缺失。 主要通过查询分组以及查询操作符批处理技术实现共享扫描基础上的高并发査询处理。 An Introduction to Database System 2.恢复机制 基本策略 将数据在磁盘等非易失性存储介质中进行备份，并且在对数据更新时将日志写到非易失性存储介质中。 因为：内存的脆弱性和易失性，数据容易被破坏和丢失， 日志提交策略 不是在事务提交时将日志写入磁盘 由于写日志所产生的磁盘I/O会延长事务的处理时间，降低内存数据库的性能。 采用预提交、组提交等方法来降低日志I/O的代价，并使用PCM、flash等非易失性内存存储日志的方法。 首先将日志存储在非易失性内存中，然后提交事务，再异步地把日志写入磁盘。 实际应用 TimesTen采用了两种方式来记录日志：一是将日志记在内存的一个区域中；二是可以将日志记在磁盘文件上。 RAMCloud 采用了一种主从式内存日志机制，即当数据被修改时将更新日志写入两个或更多的内存后 备服务器。日志首先存储于后备服务器的内存中，再采用异步方式批量写入磁盘。 An Introduction to Database System 2.恢复机制 数据恢复策略 为了减少日志量以及恢复的时间，采用检查点技术来截断日志。 MySQL Cluster使用了全局检查点(GCP) 和局部检查点(LCP)，当出现单点失败时，可以使用该失败结点的局部检查点进行数据恢复，当出现全局失败时，则需要使用全局检查点进行统一恢复。 TimesTen中也使用了两种检查点技术：阻塞检查点和非阻塞检查点。 系统崩溃时 两步来恢复数据：第一步，首先恢复热点数据，即执行事务所必须的数据；第二步，在后台恢复其他非热点数据。 根据数据在磁盘上的存储顺序、优先级（是否为热点数据）以及访问频率等参数来确定数据的装载顺序。 An Introduction to Database System * 内存数据库的研究起步较早，20世纪60年代末就出现了内存数据库的雏形。由于当时内存容量较小、成本较高，内存数据库主要作为嵌入式系统或者磁盘数据库辅助的存储与加速引擎存在。其主要目标是把磁盘数据库中使用频繁的“热”数据集中存放在内存中，提高这些关键数据的查询和处理效率。随着内存的价格不断下降、容量不断增大，内存数据库的实用性得到显著提高，从而促进了内存数据库技术的研究与发展。 1.内存数据库的雏形期 1969年，IBM公司研制了国际上最早的层次数据库管理系统IMS。IMS在一个系统中提供了两种数据管理方法，一种是采用内存存储的Fast Path，另一种是支持磁盘存储的IMS。Fast Path支持内存驻留数据，是内存数据库的雏形。它体现了内存数据库的主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直接存放在物理 内存中访问和管理。内存数据库起步于层次型数据库，其后的发展逐渐转向关系型内存数据库。 2.内存数据库的研究发展期 1984年，D.J. DeWitt等人发表了“内存数据库系统的实现技术”一文，第一次提出了Main Memory DataBase的概念。专家预言异常昂贵的计算机内存价格一定会逐渐下降，大容量的数据有可能全部存储在内存中，因此开展了对内存数据库关键技术的研究，包括内存计算的AVL树、hash算法、使用非易失内存或预提交和成组提交技术解决内存易失性问题、内存数据库恢复机制等。 1985年，IBM推出了在IBM 370上运行的OBE内存数据库，OBE在关系存储和索引上大量使用指针，连接操作使用嵌套循环算法，查询优化的重点是内存的处理代价。 1986年，R. B. Hagman提出了使用检查点技术实现内存数据库的恢复机制；威斯康星大学提出了按区双向锁定模式解决内存数据库中的并发控制问题，并设计出 MM-DBMS内存数据库；贝尔实验室推出了 DALI内存数据库模型，其重要特点是使用内存映射体系，采用分区技术把数据库的数据文件映射到共享内存，处理器可以直接通过指针访问储存在内存数据库中的信息，而且数据库的并发控制和日志机制可以根据需 要来打开或关闭。 1987年，ACMSIGMOD会议中有论文提出了以堆文件（heap file)作为内存数据库的数据存储结构。Southern Methodist大学设计出MARS内存数据库模型，该模型采用双处理器分别用于数据库和恢复处理，事务提交点之前的任务由数据库处理器负责：恢复处理 器负责事务提交，将日志和更新的数据写到磁盘数据库中，周期性的检查点同样由恢复处理器负责。MARS采用双处理器、易失性内存和非易失性内存存储设备将事务处理划分为 两个独立的阶段，独立加速各自阶段的处理性能。 19