网络备份中重复数据消重技术的研究.docVIP

网络备份中重复数据消重技术的研究 　　摘 要：随着信息化建设的深入，数据信息量呈几何级增长，为解决数据大量重复而导致存储空间浪费，文章将重点研究重复数据消重的问题。文章首先给出了数据消重技术的原理，并对数据消重类别，数据指纹和数据划分进行了阐述，接着重点分析了数据消重领域中的变长分块算法，元数据索引和客户端与服务端交互等。 　　关键词：重复数据；消重；变长块；元数据；客户端；服务端 　　1 概述 　　科技的飞速发展正在加速产生大量高价值数据，虽然数据呈爆炸性增长，但重复数据存在信息处理和存储的各个环节。传统的数据保护技术如周期性备份、版本文件系统等更能加速重复数据的增长。为了抑制数据过快增长，重复数据删除已成为一个备受关注的研究课题。 　　2 消重技术 　　数据消重技术原理是将一个文件或多个文件分割成很多小块，利用一定的算法计算这些小块的数据指纹，数据指纹相同则说明数据块内容相同，存储时只需存储相同数据块的一份。 　　2.1 重复数据划分 　　重复数据删除通过重复数据检测技术来确定存储系统中重复的文件和数据块，重复数据删除主要有两种：（1）文件级重复数据删除；（2）数据块级重复数据删除，可以更进一步在文件内部搜索相同的数据块，保证数据块的唯一实例存储。重复数据消重框架图如图1所示，首先将文件切分成小块，并用SHA1算法计算每个小块的数据指纹，若数据指纹存在于指纹索