基于云存储的重复数据删除备份系统.doc.docVIP

基于云存储的重复数据删除备份系统 一、项目研究背景(国内外状况,本项目状况及水平) 1.1 项目背景 随着信息化系统广泛应用，大型数据中心的数据存储设备的容量由于数据信息呈指数级增长而快速趋于饱和。同时，由于以自然灾难、人为恶意灾难为代表的各种灾难性事件频发，企事业单位正面临着业务量激增和信息备份间隔缩短双重压力，管理数据成本（包括存储成本、空间成本、功耗成本等综合）显著增加，提高数据存储效率已经成为当前数据备份研究的热点问题。 研究同时发现，应用系统中的数据信息的冗余度很高，存在大量重复的文件或数据块。为此，人们提出了重复数据删除技术，以消除分布在存储系统中的冗余信息，降低信息存储成本。 重复数据删除是一种数据缩减技术，旨在减少存储系统中实际使用的存储容量。其核心思想是在存储系统中只保留不同内容的数据，当数据中心进行数据添加或更新时，如果新数据和存储系统中已有数据内容相同，则不直接保存该新数据，而是在新数据位置上保存指向已有数据块的指针。由于指针占用空间远远低于数据占用空间，因此，采用重复数据删除技术可以有效地减少数据在实际存储系统中的存储容量。 1.2国内外状况 Rsync较早的研究了消除冗余数据，以减少服务器间的数据传输量，但该研究主要针对同名文件，而没有考虑不同文件间的冗余数据。Muthitacharoen等人使用基于内容的切块算法，在数据块级别上移除冗余数据，以提高网络文