基于重复数据消除的数据备份关键技术研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 RESEARCH ON KEY TECHNOLOGY IN DATA BACKUP BASED ON DEDUPLICATION Master Thesis Submitted to University of Electronic Science and Technology of China Major: Computer Software and Theory Author: Deng Changsheng Advisor: A.P. Wu Jing School : School of Computer Science Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘 要 摘 要 随着信息社会的高速发展，信息数据量呈现出爆炸式的增长，当前全球数据中 心的数据量堪称海量。据统计，这些数据中有高达 60%为重复数据，而它们需要 进行不断地存储和传输，这必然会浪费大量的存储空间和网络带宽，从而造成数 据存储和管理成本的增加。因此如何利用重复数据消除技术对海量数据进行消冗 存储，已成为存储行业当前亟需解决的重要问题之一。 本文在基于重复数据消除技术的基础上，着重研究了相似数据的备份与恢复， 主要的工作和创新点如下： (1) 提出了一种基于线性 Delta 链的高效数据备份与恢复算法 EDBRA：该算法 较好的解决了基于线性 Delta 链备份系统中版本文件恢复效率低的问题，原因在于 该方法在恢复数据时通过 EDBRA 算法计算出所需的 Delta 文件，再执行一次解压 缩运算即可恢复出所需版本文件，从而有效的避免了中间版本文件的恢复。然后 在此基础上设计了一种基于线性 Delta 链的 EDBRA 备份系统，该系统不仅保持了 基于线性 Delta 链备份系统的最优备份性能，而且在数据恢复性能上明显优于传统 的数据恢复方法。 (2) 进一步改进了 EDBRA 算法，提出了一种新的基于双向 Delta 链的数据备 份与恢复算法 BD_EDBRA：该算法在数据恢复时首先计算出数据恢复阈值，再根 据阈值选择最优的恢复策略，这种策略使得数据恢复的时间开销比 EDBRA 算法有 明显的降低，而数据备份性能与 EDBRA 算法相比仅略有增加。然后在此基础上设 计了一种基于双向 Delta 链的 BD_EDBRA 备份系统，与基于线性 Delta 链的 EDBRA 备份系统相比，该系统的数据恢复性能有明显提升，且数据备份性能与之相近。 (3) 最后设计实现了基于线性 Delta 链的 EDBRA 备份系统和基于双向 Delta 链 的 BD_EDBRA 备份系统，并对该系统进行了大量的数据测试。实验数据表明：前 者在数据恢复性能上明显优于传统的数据恢复方法，且仍然保持了基于线性 Delta 链最优的备份性能；后者的备份性能与前者相比略有下降，但是其恢复性能较前 者有明显的提升。 关键词：重复数据消除，数据备份，数据恢复，数据恢复阈值 I ABSTRACT ABSTRACT With the rapid development of information society, information data show explosive growth, the data volume of current global data center is huge. According to statistics, the huge amounts of data as much as 60% is duplicate data.And these data need to be constantly storage and transmission, so that this wastes a lot of storage space and network bandwidth, and results in