基于指纹和语义特征文档复制检测方法.pdfVIP

卷 期 燕山大学学报 年 月 文章编号：1007-791X (2008) 04-0334-06 基于指纹和语义特征的文档复制检测方法 李旭 ，赵亚伟 ，刘国华 （ 燕山大学信息科学与工程学院，河北 秦皇岛 ； 石家庄信息工程职业学院，河北石家庄 ） 摘 要：文档复制检测是保护知识产权、提高信息检索效率的有效手段。提出一种基于指纹和语义特征的文档 复制检测方法。介绍了指纹提 算法以及相关的重叠度度量，并且以知网的概念描述为基础对文本进行语义分 3 析，利用词类信息和语义规则进行歧义消解，并采用基于框架的层级表示方法描述句子的语义特征。在 种测 试集上把该方法与现存的方法在检测准确率上进行比较，实验结果表明该方法能够有效地检测出各种方式的复 制文本。 关键词：复制检测；文档表示；指纹；语义特征；重叠度 中图分类号：TP391 文献标识码：A 引言 ）基于词频统计的方法，如宋擒豹等人提出 的 系统 。该方法虽然广泛应用于文本聚 文档复制检测能够自动检测文档间的重叠信 类、信息检索等领域，但是它并不适合应用于文档 息，在信息检索、数字图书馆、网上论文提交系统 复制检测技术中。文档复制检测技术关心的是文本 等领域有重要的研究与应用价值。文档复制方式有 的同一性而不是相似性。文本同一性比相似性有更 多种，例如原封不动地照搬、移位变换、同义词替 严格的要求，相同的文本必定是相似的，但是相似 换以及改变说法重述等。 对文档复制 的文本可能是不同的。此外文档中的一些常用词汇 方式进行了科学地分类并且给出了检测相关复制 和次常用词汇通常具有较高的词频，被赋予较大的 文本的难 程度 ，如图 所示。 权值，这样就使在检测结果中出现大量由噪声带来 的误差； 原样复制 ）基于 文本块的方法，如麻会东提出 原样部分复制 的基于提 关键词的文档复制检测算法 。该方法 同义词替换 对于检测全部或部分重叠文本具有较高的效率，但 改变说法重述 是无法发现改变说法重述等复杂方式的复制文本； 难 ）基于语义知识的方法，如金博等人提出的 基于语义理解的文本相似度算法 以及基于篇章 图 文档复制方式以及检测的难 程度 结构相似度的复制检测算法 。该方法使用中文信 息处理技术，通过各种形式化的方法提 文本的语 复制检测过程中，为了计算文本间的雷同程 义特征。但是由于中文属于意合语言，缺乏形态变 度，首先需要把查询文档和数据库中的文档用统一