分布式闪存系统的损耗均衡研究-计算机系统结构专业论文.docx

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华中科技 大学硕士 学 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘要 由于 NAND Flash 的低访问延迟和低能耗等优点，伴随着其容量的不断增长， 越来越多的服务器采用闪存作为存储器。然而，不同存储服务器之间的 I/O 负载不 均衡造成了各闪存服务器之间的损耗不均衡，导致闪存寿命缩短，影响系统的耐久 性和可靠性。另外，损耗不均衡主要是写访问不均衡所致，损耗严重的服务器会有 更多的垃圾回收，导致响应时间变长，使其成为系统性能瓶颈。 为了均衡分布式闪存系统中各服务器之间的损耗，提出了基于一致性哈希的数 据动态重定向损耗均衡技术。首先，该技术动态地将损耗严重的服务器上的热数据 重定向到损耗轻的服务器，来加速损耗轻的闪存服务器的损耗，将损耗轻的服务器 上的冷数据重定向到损耗严重的服务器，来减缓损耗严重的闪存服务器的损耗，这 样来均衡各个闪存服务器之间的损耗。其次，该技术利用热数据的频繁更新特点， 针对闪存异地更新的特性，对热数据不直接迁移，而是采用延迟迁移的策略，在其 更新时写到目的节点上，这样减少了迁移数据量，减小了写放大和数据迁移带来的 额外损耗，同时对热数据采用延迟迁移不会影响系统的正常访问。 通过 flash-sim 来仿真闪存，实现了分布式闪存系统，在此基础上，实现了基于 一致性哈希的数据动态重定向损耗均衡技术。实验测试表明，使用该损耗均衡技术， 能够使各服务器之间的写负载和损耗变得均衡，同时对热数据的延迟迁移可以减少 将近 40%的数据迁移，降低了额外损耗，使得服务器的平均损耗最小。 关键词：分布式闪存系统，损耗均衡，数据重定向，异地更新，延迟迁移 II II Abstract As NAND Flash continue to grow enormously both in capacity and popularity, the adoption of Flash in server as storage is accelerating because of its superiority in access latency and energy consumption. However, unbalanced I/O load across different storage servers incurs wear unbalance and durability as well as reliability degradation. In addition, unbalance wear is mainly caused by the uneven write access, the garbage collection of the server with serious wear will be more frequently, resulting in long time response, it will be the bottleneck of the system. Dynamic data redirection technique based on consistent hashing is proposed to balance the wear across the servers in distributed storage system based on flash. Firstly, the technique dynamically redirect hot data from server with high erase counts to the server with low erase counts, and redirect cold data from serv