基于压缩近邻的查重元数据去冗算法设计.pdfVIP

通信学报 Vo l.36 NO.8 第 36 卷第8 期 2015 年 8 月 Journal on Communications August2015 doi: 10.11959/j .issn.l 000-436x.20 15226 基于压缩近邻的查重元数据去冗算法设计 姚文斌 l2，叶鹏迪3 ，李小勇 4，常静坤 1 ， 2 (1.北京邮电大学智能通信软件与多媒体北京市重点实验室，北京 100876; 2. 北京邮电大学计算机学院，北京 100876; 3 中国铁道科学研究院机车车辆研究所，北京 100081; 4. 北京邮电大学可信分布式计算与服务教育部重点实验室，北京 100876) 摘 要:随着重复数据删除次数的增加，系统中用于存储指纹索引的清单文件等元数据信息会不断累积，导致不 可忽视的存储资源开销。因此，如何在不影响重复数据删除率的基础上，对重复数据删除过程中产生的元数据信 息进行压缩，从而减小查重索引，是进一步提高重复数据删除效率和存储资源利用率的重要因素。针对查重元数 据中存在大量冗余数据，提出了-种基于压缩近邻的查重元数据去冗算法Ded 2 。该算法先利用聚类算法将查重 up 元数据分为若干类，然后利用压缩近邻算法消除查重元数据中相似度较高的数据以获得查重子集，并在该查重子 集上利用文件相似性对数据对象进行重复数据删除操作。实验结果表明， Ded 2 可以在保持近似的重复数据删除 up 比的基础上，将查重索引大小压缩50%以上。 美键i司z 重复数据删除:查重元数据:近邻压缩规则 中固分类号: TP391 文献标识码:A Deduplication algorithm based on condensed nearest neighbor rule for deduplication metadata 4 1 YAO Wen-hinl ,2, YE Peng-de , LI Xiao-yong , CHANG Jing_kun ,2 (1. Beijing Key Laboratory of Intelligent Telecommunications So企ware and Multimedia, Beijing University ofPosts and Telecommunications, Beijing 100876，C剧na; 2. Sch∞1 ofComputer Scienω， Beijing University ofPosts and Telecommunications,Be归g 1∞876， China;