中文文本复制检测系统.pdfVIP

第24卷第2期 山西大同大学学报(自然科学版) V01．24．No．2 of 2008年4月 JournalShanxi DatongUniversity(NaturalScience) Apr．2008 中文文本复制检测系统 杨俊丽，彭新光‘ (太原理工大学计算机与软件学院， 山西太原030024) 摘要：如何快速准确地发现剽窃文本是知识产权保护中的一个核心问题．该文利用KMP算法构建了一个中 文文本复制检测系统，它大大减小了复杂度。提高了运行速度． 关键词：剽窃复制检测 匹配 中图分类号：TP302．1 文献标识码：A 文章编号：1674—0874(2008)02—0017—03 互联网的方便快捷与其丰富的资源为我们的学 知识产权冲突，SCAM借鉴了信息检索技术中的向 习和生活带来了便利，但同时也成为了文档复制的 量空间模型，使用基于词频统计的方法来度量文本 detection)，又称剽窃检测 有利工具．复制检测(copy detection)，是判断一个文件的内容是否在SCAM的基础上提出了dSCAM模型，把检测范 (plagiarism 抄袭、剽窃或者复制于另外一个或者多个文件．剽窃 围从单个注册数据库扩展到分布式数据库上以及 不仅仅意味着原封不动地照搬，还包括对原作的移 在Web上探测文本复制的方法．同期又出现了 位变换、同义词替换以及改变说法重述等方式【11．目 前，复制检测主要集中在文档复制检测(documents copydetection)上，文档复制检测又包括程序检测(suffixtree)来搜寻字符串之间的最大子串的MDR 和自然语言文档复制检测两种．本文所研究的中文 原型．西安交通大学宋擒豹等人提出了CDSDG 文本复制检测属于后者． detectionof (copying systemdigitalgoods)系统问，这是 为了解决数字商品非法复制和扩散问题而开发的 1 相关研究工作 一个基于注册的复制监测原型系统．除此之外，还 自然语言文档复制检测技术最早出现在1993有很多文本比较工具和软件，都是针对两篇文档的 年，ARIZONA大学的Manber提出了s一工具，用 Com— 内容进行比较的．例如：WCopyfind和Beyoud 于在大规模文件系统中寻找内容相似的文件．Sif工 pare等． 具提出了“近似指纹(approximatefingerprints)”的概 2文本复制检测技术的分类分析 念，就是利用基于字符串匹配的方法来度量文件之 间的相似性．此后，很多文本复制检测系统都采用 根据文档特征提取的方式不同，可以把文档复 制检测方法分为两类．一类是基于串匹配的方法， 了这个思路，如COPS，KOALA，shingling，I-Match， MDR，YAP等．1995年，斯坦福大学的Brin和另一类是基于词频统计的方法．两种方法发展了几 Garcia—Molina等人首次提出了文本复制检测机制代，对于英文文档的复制检测已较成熟，但对于中 Detection 文文档的复制检测却存在弊端．因为在检测中文文 COPS(CopyS