面向内存数据库的快照机制和持久性支持研究-软件工程专业毕业论文.docxVIP

万方数据 万方数据 Submitted in total ful?lment of the requirements for the degree of Master in Software Engineering Snapshot and Durability Support for In-Memory Databases H?? Q??? Supervisor Prof. H???? C??? S????? ?? S??????? S??????? J??? T??? U????????? S???????, P.R.C???? Jan. 12th, 2015 上海交通大学硕士学位论文 摘要 面向内存数据库的快照机制和持久性支持研究 摘 要 计 算 机 核 数 和 内 存 容 量 的 增 长 为 在 内 存 中 进 行 在 线 事 务 处 理（online transactional processing, OLTP）提供了机会，一种新型数据库，内存数据库应 运而生。 商业化的硬件事务内存（hardware transactional memory，HTM）提供的硬 件读写集和自动冲突侦测吸引着研究者使用 HTM 来为快速内存事务处理提供 并发控制。本文的测试发现单纯使用 HTM 来保护数据库事务会因为过多的事 务中止无法得到良好的可扩展性。为减少 HTM 保护的事务范围，本文利用事 务切分机制和一些应用启发的优化，包括恢复可交换性、识别无需原子性的事 务、为数据库操作提供缓存等方法来减少 HTM 事务中止。 事务切分机制有效地减少了 HTM 事务中止，同时带来了新挑战。只读事 务无法再获取到一致性的数据库快照了。为解决这一问题，本文提出了一种延 迟的快照机制。快照在事务执行过程中逐步构建，最终达到一致性的状态。 在提供高效事务执行的同时，由于内存的易变性，数据库的持久性和错误 恢复成为关键问题。针对这一问题，本文提出高效的日志和快速恢复机制。使 用基于 epoch 的异步日志以降低对数据库正常操作的影响。日志中只保存记录 的变化量，以此减少日志的长度。提供非一致性的检查点机制并利用多核并行 处理日志以加速恢复。 本文基于 DBX 上实现了以上技术，系统在测试中展示了良好的性能和高 可扩展性。 关键词： 内存数据库 硬件事务内存 事务切分机制 快照 持久性 i — 上海交通大学硕士学位论文 ABSTRACT Snapshot and Durability Support for In-Memory Databases ABSTRACT The increasing core counts and memory volume open opportunities to perform online transactional processing (OLTP) in memory, leading to a new type of databases called in-memory databases. The commercial availability of hardware transactional memory (HTM), which provides hardware-maintained read/write sets and automatic con?ict detection, puts forward a challenge on how HTM can successfully support concurrency control for fast in-memory transaction processing. The analysis in this paper shows that solely using HTM to protect a database transaction leads to poor scalability due to the high prob- ability of aborting transactions. To reduce HTM-protected transaction regions, this paper proposes to leverage the theory of transaction chopping with several workload- inspired optimizations, including recovering commutativity with deferred execution, identi?cation of non-atomic transactions and a database c