闪存数据库研究进展及发展趋势.pdfVIP

闪存数据库研究进展及发展趋势 1 2 1 2 孟小峰 ，金培权 ，曹巍 ，岳丽华 （1. 中国人民大学信息学院，北京100872 ；2. 中国科学技术大学计算机科学与技术学院，合肥座机电话号码 ） ［摘要 ］ 本文简要介绍了国家自然科学基金重点项目“闪存数据库技术研究”在闪存存储管理、闪存 数据库索引、闪存数据库缓冲区管理、闪存数据库查询处理、闪存数据库事务管理等方面取得的重要 创新性研究成果 ，并对主要研究热点和发展趋势进行了分析。 [关键词 ］ 闪存数据库，重点项目 ，研究成果 ，研究热点，发展趋势 在过去的几十年里，磁盘一直是最常用的存 分发挥闪存存储的优越性、满足数据管理的需 储介质。然而，随着电子技术的快速发展，嵌入 求。因此有必要研究在闪存存储上的数据管理技 式系统、航空航天等应用领域对数据存储提出了 术，其中闪存数据库专门研究在闪存存储介质上 远超出磁盘能力的需求。例如，航空航天技术是 进行数据存储、索引设计、缓冲区管理、查询处 目前国内外竞争的焦点领域，我国也投入了巨大 理、事务管理等数据库管理系统的核心技术；通 的人力物力启动了神舟、嫦娥等计划，近年来研 过在数据库管理系统软件层面研究充分发挥利用 制和发射了多颗卫星。航空航天技术中探测数据 底层存储硬件优势的技术，探索新存储器件等新 具有十分重要的地位，而目前由于磁盘存在抗震 硬件的发展对现代计算机软硬件体系的推动和影 能力差、存取性能低、体积功耗大等缺点使其不 响。 能直接用作航天器的存储平台，这使得我国航空 1 项目概况 航天技术的发展受到了极大的限制。此外，磁盘 国家自然科学基金委员会（以下简称自然科 存储的机械局限性也日益突出。由于磁盘的机械 学基金委）信息科学部从国家经济和科技发展的 寻道特性，磁盘的 I/O 速度很难继续提高，低速 需要出发，以新兴的闪存技术为背景，针对基于 的磁盘与高速的 CPU 、总线之间的不协调问题已 闪存的数据管理问题，于2009 年 1 月启动了国家 越来越严重（在过去的20 年间，CPU 处理速度增 自然科学基金重点项目“闪存数据库技术研究” 加 570 倍，而磁盘的速度却只增加了20 倍），这 （项目批准号：座机电话号码 ）。该项目的目的是从 极大地影响了计算机技术在国民经济发展中的进 闪存的器件特性入手，针对闪存应用的数据存取 一步应用。因此，研究新型的数据存储介质已成 特点，研究闪存数据库的系统性理论和设计方 为目前我国国民经济和社会发展中的重大需求。 法，解决闪存数据库的存储管理、缓冲区管理、 在这种背景下，闪存技术应运而生。闪存存 查询处理、索引等关键问题，建立闪存数据库的 储作为新一代的存储介质，以其存取速度快、耗 基本理论和方法体系，为闪存数据库的进一步研 电量小、存储内容非易失、小巧轻便等特点，在 究与应用奠定基础，为数据库理论和技术的进一 传统的磁盘一统天下的数据存储领域中异军突 步发展提供新思路。 起，是取代磁盘作为计算机系统主要数据存储介 该重点项目负责人由中国人民大学信息学院 质的首选。但现有的数据管理软件都是在传统的 的孟小峰教授和中国科学技术大学计算机科学与 磁盘数据存储上针对磁盘的物理特性进行设计和 技术学院的金培权副教授担任。项目实施过程中 优化的，直接在闪存存储上应用这些软件无法充 注重学科交叉、优势互补、开放合作，实现了课 序读写，小规模的随机写操作在闪存存储上效率 题之间的资源与信息共享。在项目执行期间，项 很低。 目组探讨了一种新的组织方式，即定期举办高质 项目组的工作从分析这些问题的根源入手开 量的专题研讨会，并吸收国内外学术界和工业界 展了研究工作。这部分工作的典型代表有： 1） 的知名学者参加，从而拓宽了合作领域，扩大了 在基于块的闪存空间管理基础上，提出了基于块 项目的国内外影响，也提高了项目研究成果的水 集的存储管理策略，探索了在这种新的存储管理 平。迄今为止，项目组已经召开了 5 次研讨会。 策略下，相应的页更新算法以及垃圾空间回收和 最近的一次采取了国际惯例，借DASFAA 2011 之 地址映射等机制，进一步优化了闪存存储的空间 机组织了正式的国际学术研讨会“Workshop on 分配、垃圾回收效率和空间利用率；2 ）在基于页 Flash-Based Databases FlashDB 2011 ”，吸引了 的闪存空间管理方面，为进一步提高闪存空间利 国内外近 30 位研究人员参加，并由 Springer 用率和数据更新操作性能这一对相关的参数，提 Lecture Notes in Computer Science LNCS 出