键值数据库存储引擎设计与实现分析-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 A Thesis Submitted in Partial Fulfillment of the Requirements For the Degree of Master of Engineering Design and Implement of Storage Engine of Key Value Database Candidate : Dang Yongxing Major : Computer Architecture Supervisor : Associate Prof. Zeng Lingfang Huazhong University of Science and Technology Wuhan, Hubei 430074, P. R. China January, 2014 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 华中科技大学硕士学位论文 华 中 科 技 大 学 硕 士 学 位 论 文 摘 要 近年来随着云计算的兴起，WEB2.0 应用的增多，大数据越来越成为 IT 行业内 被大家关注的热门话题。大数据时代其中最显著的特点就是数据量大，数据种类繁 多，而关系数据库应对这些海量的半结构化和非结构化数据显得无能为力，这极大 的催生了以 key-value 数据库为代表的 Nosql 数据库的发展。 如何在使用较少系统资源的情况下保持较高的数据库系统性能始终是一个难 题。为了解决该问题，设计并实现了一种占用内存资源较少同时读写性能较高的 key-value 存储引擎—IndexDB 。IndexDB 由 Logstore 和 Sortedstore 两部分组成， 用户可选 Logstore 在内存中的结构，Sortedstore 分层存储，下层数据由上层数据合并 而来；系统使用 LSM 树的思想来保证系统具有较高的随机写性能，利用字典树的思 想构建数据在内存中的索引，利用无损压缩编码的技术来减小索引的内存占用，借 助布隆过滤器、布谷鸟哈希等技术来过滤系统无效读取操作，利用索引+固态硬盘的 方法来保证系统具有较高的随机读性能。IndexDB 适用于重复数据删除等需要定长 记录的应用场景。 实验测试表明，IndexDB 系统具有非常高的顺序读写性能和随机读写性能，在 系统可用内存只有 2GB 的情况下，系统能够管理上亿条数据记录，平均每条记录占 用内存大约为 1 字节左右，在可用系统资源较小，数据量较大的情况下 IndexDB 的 随机读性能大概是 LevelDB 的 2 倍。 关键词：键值数据库，索引，分层，过滤器，字典树 I II万方数据 II 万方数据 Abstract In recent years, with the rise of cloud computing and the increase of web2.0 applications, big data is increasingly becoming a hot topic for everyones attention, and the most notable feature of big data ear is that the data amount is huge and there are many types of data such as unstructured data. The traditional relational database has no ability to deal with these massive semi-structured and unstructured data, which gave birth to the great development of Nosql database, and the key va