基于内容的重复数据删除技术的研究.docVIP

基于内容的重复数据删除技术的研究 　　摘要:随着企业数据信息量的不断地增加, 海量数据信息的存储和不断备份已经给企业的存储空间带来了巨大的存储压力;本文分析了当前主要的重复数据检测和删除技术, ,并分析了其优缺点。并提出一种基于内容的重复数据删除策略。 　　关键词:重复数据检测;重复数据删除;网络存储系统;可靠性;性能 　　中图分类号:TP311文献标识码:A文章编号:1009-3044(2010)22-6275-03 　　近年来,随着互联网的广泛应用,以及包括金融、电信、军事等各种应用和需求信息化程度的扩大,在信息化过程中产生的数据呈现出爆炸性的增长态势。在近年来,互联网的数据急剧增长,互联网已经成为人们从事学习、工作、娱乐等各种活动的主要途径之一。这就是说有越来越多和越来越丰富的应用会放在互联网上,随着互联网应用的急剧增多,数据存储需求也是极具增大,尤其是企业级的存储,不仅存储数据量需求加大,存储访问流量和存储数据的完整性,安全性,可靠性,高效性的需求也越来越高。在过去的lO年里,很多行业提供的存储系统容量从数十GB发展到数百TB,甚至数PB。随着数据的指数级增长,企业面临的快速备份和恢复的时间点越来越多,管理保存数据的成本及数据中心空间和能耗也变得越来越严重。研究发现,应用系统所保存的数据中高达60%是冗余的,而且随着时间的推移越来越多。为了缓解存储系统的空间增长问题,缩减数据占用空间,降低成本,最大程度地使用已有资源,重复数据删除技术已成为一个热门的研究课题[1]。第一,利用重复数据删除技术可以降低在网络中传输的数据量,进而一定程度上降低能量消耗和网络成本,并为数据复制大量节省网络带宽;第二,利用重复数据删除技术可以优化存储空间的利用率,对在存储系统中的相同或相似文件和数据块进行消除。重复数据删除是一种独特存储技术,分析师认为它可能是存储行业最重要的一项新兴技术,将改写存储行业的经济规则:借助于重复数据删除技术,使得实际存档的数据呈几何级别递减,用户的存档数据所占用的空间将会缩减为现在的5%,从而大幅削减存储成本。 　　1 重复数据删除技术简介 　　重复数据删除(Data De-duplication)也称为智能压缩(Intelligent Compression)或单一实例存储(Single InstanceStorage)[1]。这种技术是可对重复数据进行自动搜索,并将相同的数据只保留惟一的一个文件或数据块,并使用指向单一数据的指针代替其它重复数据,以达到消除数据冗余和降低存储容量需求的存储技术。该技术旨在删除冗余的备份数据,确保同样的数据信息只被保存一次。它能够识别重复的数据,消除冗余,减少需转移或存储的数据的总体容量。 　　2 重复数据检测技术 　　相同数据检测技术[2]:相同数据主要包括两个层次,相同文件及相同数据块。 相同的文件主要通过WFD技术进行数据检测;相同数据块主要通过FSP检测技术、CDC检测技术、滑动块技术进行重复数据的查找与删除。 　　相似数据检测技术[2]:现在主流的技术有以下三种:Shingle技术,bloom filter技术和模式匹配技术。这几种技术都可以挖掘出相同数据检测技术不能识别的重复数据。 　　基于Shingle的检测技术: 　　Shingle是将若干单词组成片断,粒度比较大,而信息检索类方法其实是用单词作为比较粒度,粒度比较小,粒度越大计算速度越快,而粒度越小计算速度越慢,Shingle的改进以及新提出的方法的发展趋势也是粒度越来越大,这样才能解决实际使用中速度的问题。粒度最大的极端情况是每个文档用一个HASH函数编码(比如MD5),这样只要编码相同就说明文档完全相同,但是粒度太大带来的问题是对于细微的变化文档无法判别,只能判断是否完全相同,至于部分相同以及相同的程度无法判断。 可见Shingle类方法其实是在速度和精确程度上的一种折中方法。 　　Shingle方法:所谓Shingle类似于自然语言处理中常用的N-GRAM方法,就是将相互连续出现窗口大小为N的单词串作为一个Shingle,两者的不同点在于Shingle是这些串的集合,相同的串会合并为一个,而N-GRAM则由于考虑的是文本线性结构,所以没有相同合并步骤。每个Shingle就是文档的一个特征,一篇文档就是由所有这些Shingle构成的。 　　目前,关于数据集合相似性的定义有多种表示形式:数据A和B的相似性定义为: 　　 [3] (1) 　　由公式1可以看出,数据相似性,r与m的取值和文件的大小有关。[3]当Y较大时,单纯地对数据中所有Shingle进行相似性处理使得系统的开销较大。 　　基于bloom filter的检测技术: 　　对于切分的片断进行编码。[3]bloom fil