结构化信息的去重方法.pdf

第35 卷 第3 期 计 算 机 工 程 2009 年2 月 Vol.35 No.3 Computer Engineering February 2009 ·软件技术与数据库· 文章编号：1000—3428(2009)03—0023—03 文献标识码：A 中图分类号：TP391 结构化信息的去重方法 李 林，刘桂峰，赵朋朋，崔志明 (苏州大学智能信息处理及应用研究所，苏州 215006) 摘 要：针对载有结构化信息的网页，提出一种基于学习的去重方法。通过先期准备的样本定义分类器，根据分类器对页面中结构化信息 的不同属性字段进行分类和距离计算，计算出整个信息对象和已分类样本信息的距离，以这些距离与阈值的大小关系判断该信息对象是否 重复。 关键词：相似性测度；去重；聚类 Duplication Deletion Method for Structural Information LI Lin, LIU Gui-feng, ZHAO Peng-peng, CUI Zhi-ming (Institute of Intelligent Information Processing and Application, Soochow University, Suzhou 215006) 【Abstract 】This paper proposes a learning-based duplication deletion method for structural information on Web. It prepares a training set for producing classifier, classifies different attribute fields of structured information in pages, and computes the distances according to the classifier. The distance between the whole information object and classified sample information is computed, and whether the record is duplicate by comparing with threshold is judged. 【Key words 】similarity measure; duplication deletion; clustering 行管理，以判断 [1] 1 概述 2 个URL 是否相同 ，这种方法的执行速度 近年来，网络技术和规模得到很大的发展，网络中的信 很快，对于那些对准确率要求不高但要求快速的去重任务具 息量空前的巨大，其扩大速度也是前所未有，因此，当前互 有很好的效果。相比之下，基于网页文本内容的去重在方式 联网的信息处理中最大的问题是页面信息的大量冗余。其解 选取上比较多样。在这类方法中，基于特征串和基于词频聚 类 [2-3] 决方法就是去重。 2 种方式较为常用。基于网页特征串的方法 ，主要是按 观察页面的形式可以发现，网页中的信息分为 2 种