切片增量备份法.docVIP

切片增量索引备份算法 设计人: 毕凤革 2011/3/29 数据备份的主要方式 完全备份 完全备份（full backup）」，每个档案都会被写进备份档去。如上所述，如果两个时间点备份之间，数据没有任何更动，那么所有备份数据都是一样的。 这问题出自备份系统不会检查自上次备份后，档案有没有被更动过；它只是机械性地将每个档案读出、写入，不管档案有没有被修改过。备份全部选中的文件及文件夹，并不依赖文件的存盘属性来确定备份哪些文件 （在备份过程中，任何现有的标记都被清除，每个文件都被标记为已备份，换言之，清除存盘属性）。 增量备份 跟完全备份不同，增量备份在做数据备份前会先判断，档案的最后修改时间是否比上次备份的时间来得晚。如果不是的话，那表示自上次备份后，这档案并没有被更动过，所以这次不需要备份。换句话说，如果修改日期「的确」比上次更动的日期来得晚，那么档案就被更动过，需要备份。 增量备份常常跟完全备份合用（例如每个星期做完全备份，每天做增量备份）差异备份是针对完全备份：备份上一次的完全备份后发生变化的所有文件。 （差异备份过程中，只备份有标记的那些选中的文件和文件夹。它不清除标记，既：备份后不标记为已备份文件，换言之，不清除存盘属性）。 使用增量备份最大的好处在于备份速度：它的速度比完整备份快上许多，同时由于增量备份在做备份前会自动判断备份时间点及文件是否已作改动，所以相对于完全备份其对于节省存储空间也大有益处。增量备份的不足之处在于数据还原的时间较长，效率相对较低，例如，如果您要还原一个备份档案，您必须把所有增量备份的磁盘都找一遍，直到找到为止，如果您要复原整个档案系统，那就得先复原最近一次的完整备份，然后复原一个又一个的增量备份。 差异备份 差异备份与增量备份一样，都只备份更动过的数据。但前者的备份是「累积（cumulative）」的—— 一个档案只要自上次完整备份后，曾被更新过，那么接下来每次做差异备份时，这个档案都会被备份（当然，直到下一次完整备份为止）。 这表示差异备份中的档案，都是自上次完全备份之后，曾被改变的档案。如果要复原整个系统，那么您只要先复原完全备份，再复原最后一次的差异备份即可。增量备份是针对于上一次备份（无论是哪种备份）：备份上一次备份后，所有发生变化的文件。 （增量备份过程中，只备份有标记的选中的文件和文件夹，它清除标记，既：备份后标记文件，换言之，清除存盘属性。） 跟增量备份所使用的策略一样，您平时只要定期做一次完全备份，再定时做差异备份即可。 所以，差异备份的大小，会随着时间过去而不断增加（假设在完全备份间，每天修改的档案都不一样）。以备份空间与速度来说，差异备份介于递增备份与完全备份之间；但不管是复原一个档案或是整个系统，速度通常比完全备份、增量备份快（因为要搜寻 / 复原的磁盘数目比较少）。 重复数据删除技术 重复数据删除技术其实就是为删除或擦去冗余文件、字节或数据块的流程，确保只有“独有”的数据存储在磁盘上。也就是所谓的容量优化保护技术。重复数据删除通过有效减少后端存储设备中冗余容量占有，解决了“容量膨胀”的效率问题。 首先，重复数据删除技术不同于普通的数据压缩技术是通过压缩算法消除文件内的冗余数据来缩减文件大小，而重复数据删除是通过算法消除分布在存储系统中的相同文件或者数据块。其次，重复数据删除技术关键是只保留唯一的数据实例，在减少数据存储量方面更加有效。重复数据删除技术的基本原理是将数据分块筛选，找出相同的数据块并以指向唯一实例的指针取代。 重复数据删除技术也不是没有弊端，其实在校验过程中，由于每次写入数据时，都要校验所有的数据块，避免重复，这样整个系统的备份延迟时间将会被拉长，数据量越大延迟就会越长。对于效率的影响也是显而易见的。但是重复数据删除技术还是加快了由磁带存储向磁盘存储迁移的步伐。由于大幅度地降低了用户需要备份的数据量，这就使得在备份和恢复应用中，磁盘介质在成本方面与磁带介质之间有了可比性。 切片增量索引备份算法 综合分析以上方法，完全备份是必不可少的。其它备份方法都是解决一下几个问题。 备份效率问题 还原效率问题 容量膨胀问题 每个算法都想完美解决以上问题 主要部分是重复数据删除技术减少容量膨胀问题，同时结合增量备份和差异备份，希望能提高备份和还原效率。 文件规划 每一个完全备份建立一个目录。 目录下文件分数据文件和索引文件两部分。 数据文件对每一个目录备份文件就一份。 每一个索引文件为一个版本。 每一次修改的备份都会使数据文件产生增量（完全备份可以看作是基于空的一个增量）和生产一个新的索引文件；文件长度或者索引号过大将重新建立完全备份。 算法 对于一个文件可以看作是由多个片段组成。每一个片段可以是一行（文本文件），可以是一段二进制（二进制文件）。我们针对不同