数据块划分算法.pptVIP

数据块划分算法 孙鉴 2011100159 content 测试环境 1、目前分块算法现状 1.1固定尺寸划分算法（FSP） ·算法流程： ◆预设块大小 ◆哈希算法获取指纹 ◆对比指纹，删冗 FSP处理流程 假定以每两个字节为定长比较 1 2 3 4 5 6 7 8 原版数据： 新版数据： 1 2 0 3 4 5 6 8 7 1 2 3 4 5 6 7 8 重复数据 非重复数据 非重复数据 非重复数据 ·算法特征： （1）、算法实现简单 （2）、较小的查冗率 （3）、对编辑及修改操作敏感 ·算法应用实例： EMC的Centera系统 Windows的单一实例存储系统 1.2可变分块划分算法（CDC） 算法流程 ◆使用Rabin指纹确定数据块边界 ◆哈希算法获取指纹 ◆对比指纹，删冗 CDC处理流程 设定预想块大小exp_chunk_size 设定magic_value 以substring_size为步长滑动窗口并取其rabin指纹。 若rabin指纹的后13位与magic_value相等则设定分割点 两个分割点间的数据块为划分得到的数据块 CDC算法伪代码 ·算法特征： （1）、冗余查出率高 （2）、对修改编辑操作处理效果较好 （3）、数据块的变长存储问题 ·算法应用实例： P2P文件系统Pasta[1*] P