中文文档复制检测方法研究.pdfVIP

(现代图书情报技术》2007年 第6期 知识组织与知识管理 总第 151期 中文文档复制检测方法研究 耿 崇 薛德军 (中国学术期刊(光盘版)电子杂志社 北京100084) 【摘要1介绍不同的文档复制检测方法，对不同方法的技术特点进行对比，通过实验系统论证不同方法的 优缺点，并在CNKI海量资源的基础上实现中文文档复制检侧系统。最后针对目前文档复制检测存在的问题进 行分析并确定后续工作内容。 【关键词】文档复制检测 抄袭检测 !分类号】TP391.1 StudyonChineseDocumentCopyDetection GengChong XueDejun (ChinaAcademicJournal(CD)PublishingHouse,Beijing100084,China) [Abstract) ThispaperdiscussesdifferentmethodsofDocumentCopyDetection(DCD)，compareswitheach otherinthefeaturesofDCDtechniquesthroughexperimentsystem,andbuildsaDCDsystembasedontheCNKIrepos- dories.Atlast,thepapergivesanumberofrecommendationsforfuriherworkinthefieldofDCD. [Keywords]Documentcopydetection Plagiarismdetection 大学自然语言处理组的METER项目在检测新闻文本 1 引 言 重用方面做了很多研究。 随着网络数字资源的日益丰富和网络环境对人们存 目前，国内关于中文文档复制检测的研究也越来越 取信息方式的改变，文档复制变得越来越容易，与此同时 多，西安交大的鲍军鹏、大连理工大学的史彦军等人发表 也带来了文档抄袭、学术成果副窃等一系列知识产权保 了一系列相关文献并构建了相关试验系统[7-1，但是关 护问题。文档复制检测(CopyDetection)或者称为副窃检 于建立在超大规模数据集上的中文文档复制检测系统还 测(PlagiarismDetection),就是判断一篇文档是否抄袭了 没有相关研究。 其他文档的内容，是实施知识产权保护的一种重要手段。 1.2 应 用 文档间的抄袭不仅意味着原样复制，还包括词语句子级 (1)数字资源排重 别的增加、删除、顺序调整和同义改写。 通常用户在利用搜索引擎进行结果筛选过程中，除了过 滤不相关文档，还要对重复文档进行区分过滤，通过文档复制 1.1 研究概况 文档复制检测研究最早起源于20世纪70年代软件 检测技术可以把重复文档提前过滤掉，减小用户负担，帮助用 户更快地获得所需信息。不仅是针对搜索引擎，在图书馆和 程序的非法复制检测。目前，文档复制检测的实现方法 一些公司的内部资源管理中，也应用文档复制检测技术来提 主要有基于数字指纹的方法、基于字符串比较的方法、基 高文档资源的利用程度。例如，HP公司就应用这种方法来实 于VSM的方法、基于语义序列模