基于存储系统的重复数据删除技术的研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 爆炸式增长的数字信息给人们的日常生活乃至企业的业务运营都带来了巨大的挑战，存 储系统中的冗余数据信息变得越来越多，极大地增加了存储备份的开销，降低了存储系统的 性能。研究如何消除存储系统中的冗余数据，降低存储开销问题变得尤为重要。近年来，重 复数据删除技术（简称去重技术）被广泛应用于数据存储系统中，并成为计算机应用领域所 研究的一个热点。但是现有的针对存储系统的重复数据删除技术的研究缺乏对相似性数据检 测精度问题以及减少存储设备访问开销问题的深入研究，导致系统性能不高，达不到高速且 高效的重复数据删除效果。为了解决上述问题，课题从存储系统中相似性数据检测的精确度 以及优化存储系统访问开销等方面进行分析研究，以找到更加高效的相似数据检测技术以及 开销更小的存储系统访问的解决方法。 为了在大规模文档去重中提高相似数据检测的精度，课题对基于 Simhash 算法的大规模 文档去重技术进行深入地研究，在原有算法的基础上对 Simhash 指纹值的计算过程做出改进， 引入 ICTCLAS 分词技术生成更加精确且标有词性的分词，将 TF-IDF 技术作为计算权重的主 要方法来抑制某一文档内无意义高频词出现的负面影响，同时将特征值的词性与词长两大影 响因素考虑其中，然后对产生的指纹值进行汉明距离的比较，从而更加精确地判定出待比较 者是否为相似数据。 为了缓解存储系统中因为重复数据索引而引起的存储设备访问过于频繁的问题，课题对 重复数据删除技术进行了深入的研究，并针对目前重复数据删除技术中 Bloom Filter 的运用以 及存在的存储设备访问性能问题进行分析和研究，提出一种基于 Bloom Filter 的高效重复数据 删除优化模式。针对单一 Bloom Filter 固有的假阳性的缺陷，课题增加辅助 Bloom Filter，从 而减小误判率，达到减少存储设备访问次数的目的；针对因系统软件错误引起的 Bloom Filter 假阴性缺陷，课题引入单校验位的错误校验机制，在不增加过多内存存储开销的同时可以避 免假阴性发生所带来的问题。 最后，分别针对课题改进的 Simhash 算法和 Bloom Filter 算法的算法性能进行实验分析。 测试结果表明课题提出的改进 Simhash 算法总体性能优于 Shingle 算法和原 Simhash 算法，能 够提高产生指纹值的精确度；优化的 Bloom Filter 算法通过引入一种判断机制配合辅助 Bloom Filter 和单校验位机制，能够达到误判率降低、存储设备访问开销减小的高性能优化效果。 关键词：存储系统，重复数据删除，相似性，词性权重，Simhash 算法，TF-IDF 技术， Bloom Filter，误判率，错误校验 I Abstract The explosive growth of digital information has brought great challenges to peoples daily life, even the business operations of enterprises. With the number of redundant data becomes larger and larger, the cost of the backup increases rapidly and the performance of the storage system reduces greatly. It becomes important to study how to efficiently eliminate the duplicate data