基于语义指纹的文文本快速去重_李纲.pdfVIP

总第 237 期 20 13 年 第 9 期 基于语义指纹的中文文本快速去重* 李 纲 毛 进 陈璟浩 ( 武汉大学信息资源研究中 心 武汉 430072) 【 】 ， ， Simhash ， 摘要 针对中文文本 抽取出文本内容特征 结合 算法生成中文文本的语义指纹 通过语义指纹的海明 。 Single － Pass ， 距离判断文本间相似程度 整合 快速聚类算法对语义指纹快速聚类 所得的语义指纹聚类即为文本 ， 。 ， Shingle ， 去重的最终结果 从而实现面向中文文本的快速去重流程 实验过程中 通过与 算法对比 可以体现该方 、 ， 。 法在算法精确度 鲁棒性等方面的优势 同时该方法的运行速度优势也能较好地支持大数据量文本的去重操作 【 】 Simhash Single － Pass 关键词 语义指纹 文本去重 【 】TP391． 3 分类号 Fast Duplicate Detection for Chinese Texts Based on Semantic Fingerprint Li Gang Mao Jin Chen Jinghao (Center for the Studies of Information Resources ，Wuhan University ，Wuhan 430072 ，China) 【Abstract 】Oriented to Chinese texts ，text features are firstly extracted to generate semantic fingerprints by performing the Simhash algorithm． The Hamming Distances between semantic fingerprints are applied to determine the similarity between texts． Then ，as the last step of the entire process of detecting duplicates for Chinese text ，the Single － Pass clustering algorithm is integrated to cluster the generated semantic fingerprints ，after which the clusters of fingerprints are the final results． By comparing with the Shingle algorithm ，the experiment shows that the Simhash approach is superior at both pre- cise and robustness ，and the Simhash approach is capable to process large amount of texts due to its rapidness． 【Keywords 】Semantic fingerprint Simhash Single － Pass Duplicate detection 1 引 言 ，