面向键值数据库应用的混合存储系统设计与实现-计算机系统结构专业毕业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的 研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学 可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 I. I . 摘 要 随着大规模互联网应用的高速发展，给存储系统的可扩展性提出了更高的要求， 键值数据库由于其简单高效的数据模型在可扩展性方面较传统的数据库系统有很大 的优势。另一方面，随着硬件的发展，固态盘的性价比逐步提高，已经成为越来越 多系统的首选，其随机读的优势与互联网应用的特征高度符合，但是其写性能的相 对低下以及擦除次数的限制影响了它的应用场景，于是将固态盘与磁盘相结合的融 合存储系统得到了大家的广泛关注。因此针对键值数据库而设计的融合存储系统是 一个有价值的结合点。 针对 Web 应用的负载特点，通过日志的方式顺序的记录对键值数据库的操作， 所有的操作都仅仅是顺序的写入内存，当内存中的数据达到了一定阈值以后一次刷 写到后端存储上，日志的方式一定程度上是通过牺牲读性能来优化写性能，所以和 固态盘有天然的互补关系。由于后端固态盘与磁盘的不同特性，使用层次化的方法 将写的特点进行分类后写入不同的设备上，并设计实现了一个可定制文件放置与迁 移策略的文件系统 HybridFS，通过监控分析脚本可以对同一文件系统中不同特点的 文件选择不同的放置与迁移策略。针对键值数据库的文件访问特点，日志类文件多 是一次写很少读，所以直接写入磁盘。元数据类文件读写都很频繁但是文件大小和 数量偏少，因此写入固态盘。对数据文件由于其海量、定长、一次写多次读的特点， 根据负载特点选择性的写入磁盘或者固态盘。针对纯写入型负载使用概率选择的方 式比 Flashcache 提升了 5%-56%，而对于读写混合行负载使用 LRU 的迁移方式相比 Flashcache 有 4%-14%的性能提升。 关键词：固态盘， 键值数据库， 融合存储系统， 文件系统 II. II . Abstract With the rapid development of large-scale Internet applications, high scalability requirements is so important to the storage system that key-value database due to its simple and efficient data model to traditional database systems have stage in the art. On the other hand, with the hardware development, gradually increase the cost-effective solid-state disk, the system has become more and more preferred, the random read of the advantages and features of Internet applications, a high degree of fit, but its relatively low write and erase performance limit the number of its impact scenarios, so the combination of solid-state disk and the disk storage system has been the integration of everyones attention, this article focus on hybrid system of solid-state disk and magnetic disk for key-value database. To our own web applications, the way we o