数据块划分算法课件.pptVIP

数据块划分算法 孙鉴 2011100159 content 测试环境 1、目前分块算法现状 1.1固定尺寸划分算法（FSP） ·算法流程： ◆预设块大小 ◆哈希算法获取指纹 ◆对比指纹，删冗 FSP处理流程 假定以每两个字节为定长比较 1 2 3 4 5 6 7 8 原版数据： 新版数据： 1 2 0 3 4 5 6 8 7 1 2 3 4 5 6 7 8 重复数据 非重复数据 非重复数据 非重复数据 ·算法特征： （1）、算法实现简单 （2）、较小的查冗率 （3）、对编辑及修改操作敏感 ·算法应用实例： EMC的Centera系统 Windows的单一实例存储系统 1.2可变分块划分算法（CDC） 算法流程 ◆使用Rabin指纹确定数据块边界 ◆哈希算法获取指纹 ◆对比指纹，删冗 CDC处理流程 设定预想块大小exp_chunk_size 设定magic_value 以substring_size为步长滑动窗口并取其rabin指纹。 若rabin指纹的后13位与magic_value相等则设定分割点 两个分割点间的数据块为划分得到的数据块 CDC算法伪代码 ·算法特征： （1）、冗余查出率高 （2）、对修改编辑操作处理效果较好 （3）、数据块的变长存储问题 ·算法应用实例： P2P文件系统Pasta[1*] Pastiche备份系统[2*] 基于值的网络缓存系统[3*] Deep Store归档存储系统[4*] 低带宽网络系统LBFS[5*] 1.3 fingerdiff算法 算法流程 ◆CDC算法划分子块 ◆根据fingerdiff算法合并子块 ◆计算指纹值，对比删冗 算法特征： 由于此算法为CDC算法的改进，算法特征与CDC算法类似，初始块划分大小与滑动窗口的选择对文件相似度及修改特征较为依赖 1.4滑动块检测算法 算法流程： ◆定长的窗口滑动，求checksum ◆若找到相同的checksum则对两起点间的数据执行以下操作： （1）、若数据碎片大于1个窗口长度，则取整数个窗口大小数据块分别计算checksum，作为非重复数据，存储其checksum 及指纹。 （2）、若数据碎片小于1个窗口长度，将其作为非重复数据存储。 ◆对于相同checksum计算指纹值，若指纹值不符合，则视为checksum不同，继续滑动窗口。 滑动数据块检测法 算法特征： 插入及删除问题处理高效，但小于一个窗口的数据碎片都会当做非重复数据存储。 滑动块检测 checksum checksum checksum checksum checksum checksum checksum 1、插入蓝色块：产生蓝色碎块，并存储 2、删除蓝色块：产生黄色碎块，并存储 3、修改黄色块：产生黄色碎块，并储存 优点：对插入删除问题处理较为高效，查冗率较高。 缺点：占用较多的存储空间 产生较多的数据碎片 小结 1、目前尚无通用的数据块划分检测技术，各个技术均有其优缺点。 2、CDC及滑动块算法中预设块给我们的启示。 Thank you! * 引自《Improving duplicate elimination in storage systems》 * 1*:Storage,mutability and naming in Pasta 2*:Pastiche:Making backup cheap and easy. 3*:Value-Based Web caching 4*:Deep store:An archival storage system architecture 5*:A low-bandwidth network file system. * * * 引自《Improving duplicate elimination in storage systems》 * 1*:Storage,mutability and naming in Pasta 2*:Pastiche:Making backup cheap and easy. 3*:Value-Based Web caching 4*:Deep store:An archival storage system architecture 5*:A low-bandwidth network file system. * *