雷同报告检测系统项目总结报告-哈工大社会计算与信息检索研究中心.PDFVIP

“雷同报告检测系统”项目总结报告 摘要 雷同报告检测系统（以下简称本系统），是一个面向教育领域的大规模文档比较及雷同 判定系统，能够高效的在指定的文档集以及文档与互联网资源之间发现可能雷同的文档。 本系统通过计算文档相似度，从两个方面判断文档是否可能雷同：一是文档之间的比较， 针对每个文档提取特征指纹，利用Lucene 建立索引，计算相似度，找出同学之间相互抄袭 的雷同文档；二是利用搜索引擎提供的Search API ，通过互联网检索，找出同学抄袭网络的 雷同文档。从而帮助教师有效地发现可能雷同的报告及论文，减少教师人工判定的工作 量，提高教学质量。本系统主要使用Java 开发，移植性好，便于教师轻松的部署；同时也 将利用Web Service ，为不具备部署条件的教师提供在线服务，实用性高；此外，本系统并 不要求强大的计算性能，在普通服务器上就可以快速稳定的运行，成本低，利于推广。 关键词 雷同检测；特征指纹；Lucene；Web Service 目录 摘要1 1. 项目简介3 2. 系统总体设计4 2.1 总体模块设计4 2.2 数据库设计5 2.3 关键技术分析5 3. 系统详细设计与实现6 3.1 作业管理模块的详细设计与实现6 3.2 本地雷同分析模块的详细设计与实现8 3.3 网络雷同分析模块的详细设计与实现13 3.4 开发环境和工具15 4. 系统测试和性能分析16 4.1 系统测试环境16 4.2 性能分析17 5. 经费使用情况18 6. 收获与体会19 6.1 项目组组长柳俊丞19 6.2 项目组成员唐国华19 6.3 项目组成员郭江19 7. 结论20 7.1 项目完成情况20 7.2 特色与创新20 7.3 将来的工作20 致谢21 参考文献21 1. 项目简介 随着互联网的普及，学生作业的提交和批改方式都发生了很大的变化。一方面作业的 电子化能够节省学生时间，方便教师批改；另一方面网络资源方便易得，电子作业易于复 制的特性也给学生的抄袭带来了极大的方便。因此，如何通过技术手段自动有效的判断雷 同，就成为目前教学工作的难点。 文本的雷同和抄袭问题已经引起了学术界的高度重视，2009 年举办的第一届抄袭检测 国际竞赛(The 1st International Competition on Plagiarism Detection)[1] ，目的就是为了评测各 种雷同检测算法在处理大规模数据时的性能。 斯坦福大学的Moss(Measure Of Software Similarity)[2] 系统是一个简单易用的编程语言 雷同检测系统。它主要用于计算C、C++、Java 、Pascal、Ada 、ML、Lisp 等一些形式化语言 所编写的程序之间的相似性。哈工大计算机学院已经成功的运用Moss 在一些程序设计类 [3] 课程 中检测学生程序之间的雷同。然而Moss 系统只适用于有一定文法的形式语言，对于 没有特定结构的自然语言不适用，也就是不适用于报告和大作业的雷同检测。 [4] 香港理工大学Si 等人建立的CHECK 系统 ，采用统计关键词的方法来度量文本之间的 2 相似性，其时间复杂性为O(n )，对于报告数量较多的情况，其效率较低，同时也较难用于 寻找互联网上的抄袭情况。小木虫网站上有关于论文是否有抄袭嫌疑的在线检测。该网站 检测抄袭的算法保密，不是针对学生电子作业群体，而学生也不可能