一种基于滑动分块的重复数据检测算法-计算机工程.PDF

第 卷 第 期 计 算 机 工 程 年 月 软件技术与数据库 文章编号 文献标识码 中图分类号 一种基于滑动分块的重复数据检测算法 郑亚光潘久辉 暨南大学信息科学技术学院广州 摘 要 当被插入或删除的字节接近于匹配失败数据段两侧时会导致 算法回溯功能局部甚至完全失效 为此提出一种改进的重复数据检测算法 采用滑动与滚动相结合的窗口移动模式减少窗口计算量利用 滚动校验和算法与 算法优化窗口计算模式加快匹配速度 通过回溯匹配失败数据段检测其中的重复数据 段以提升重复数据的检测精度 实验结果表明与 算法相比该算法在重复数据段均匀分布与非均匀分布 时的查全率分别提高约 和 关键词 重复数据检测匹配失败数据段算法窗口计算校验和算法回溯 中文引用格式郑亚光潘久辉一种基于滑动分块的重复数据检测算法计算机工程 英文引用格式 提高重复数据的检测精度一方面能够进一步优化 概述 存储空间消除分布在存储系统中的相同文件或者 数据质量问题在现实生活中是普遍存在的其 数据块另一方面能进一步减少在网络中传输的数 主要来源于企业数据录入以及数据集成时的差异 据量从而降低能量消耗和网络成本并为数据复制 而数据清洗一直是提高数据质量的有效手段 数 节省网络带宽 据清洗的处理对象是脏数据按其不同的表现形式 针对由插入或删除少量字节而导致匹配失败数 可概括为残缺数据错误数据重复数据 其中由 据段的问题本文提出 算法 多数据源合并而导致的数据重复是数据清洗的关键 通过回溯匹