基于重复数据消除的大型数据库灾备系统关键技术研究-软件工程专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘要 摘 要 随着经济全球化的深入以及行业信息化程度的不断提升，国际性大企业不断 涌现，企业处理数以亿万计的用户产生的爆炸性的生产数据时，数据中心的数据 传输和存储能力就显得尤为重要。统计数据表明，这些新增的海量数据中，存在 着很多相似甚至相同的数据（称为冗余数据），为此，如何消除冗余信息，节省传 输带宽，节约存储空间，以此减轻数据中心的负担，已经成为亟待解决的关键问 题。为此，提出了重复数据消除技术，目前，采用重复数据消除技术以改进存储 中心数据存储效率、性能，具有重要的理论价值和现实意义。 本论文在对备份系统消冗相关技术深入研究的基础上，主要完成了如下的工 作： 首先创新的提出一种基于磁盘的消冗存储系统的加密方案（ESDS），从加密 算法的三个参与方的加密流程展开阐述，并对各种可能遇到攻击者时的安全性进 行分析，此算法在用户对传输的数据信息有加密的需求时，能够提供数据可靠性 的保障； 其次对大型灾备系统的结构和功能进行了设计，并创新的提出了一种综合使 用初筛——基于局部性对数据进行存储、基于惯性原理对元数据进行预读——写 缓冲的机制来提高消冗的效率的策略。 最后在测试环节设计了一种独创的适用于用于对本文消冗模块进行测试的测 试数据集的构造方法。设计了包含多个对照系的实验方法对不同消冗方式进行了 实验，并对实验数据进行分析得出了最终结论，最后设计了包含多个对照系的测 试流程，并对测试数据进行分析得出最终结论。 实验结果表明，本论文设计的消冗灾备模块同时支持定长块和基于内容分块 消冗方式，备份速度快。 关键词：灾备 分块（Chunk） 重复数据消除 加密 ESDS 备份 I ABSTRACT ABSTRACT As the economic globalizations deeply developing and rising of the information industry, international enterprises is emerging. The enterprises are processing millions of explosive production data from tens of millions of users. The data transfer and data storage capacity of data center are particularly important. Statistics show that there are many similar, even the same, data (called redundant data) in these new mass of data. Therefore, how to eliminate redundant information, save bandwidth and save space of storage, so as to reduce the burden of the data center, has become the key problem urgently to be solved. Therefore, this thesis proposes Deduplication technology. Based on the intensive study of deduplication technology, this thesis completed the following work. Firstly, an innovative Encryption Scheme for deduplication System has been proposed. This thesis describ