基于划分的分布式图书查重子系统的设计与实现的中期报告.docxVIP

基于划分的分布式图书查重子系统的设计与实现的中期报告

一、背景与意义：

随着互联网的发展，文献数据量已经极其庞大。在这些文献中，很多都是重复或者抄袭的。因此，图书查重技术已经成为了保证学术诚信的必要手段。现有的图书查重系统往往采用局部敏感哈希等算法，其本质上是一种基于特征匹配的方法。但这种方法存在以下问题：

1.大规模文献数据处理时间较长；

2.数据库访问频繁，对系统性能影响大；

3.难以扩展到集群环境下，吞吐量低；

因此，本文提出一种基于划分的分布式图书查重系统，旨在解决上述问题，在保证查重效果的同时提高系统性能。

二、系统设计：

系统采用分布式架构，包括多个工作节点和一个协调器节点。工作节点负责文献分割、特征提取、哈希计算任务；协调器节点负责任务调度、结果聚合、数据库访问等任务。

具体流程如下：

1.协调器将待查重的文献数据集划分成多个小数据块，分配给各个工作节点；

2.工作节点对文献数据进行分割，提取特征，并计算局部敏感哈希值；

3.工作节点将哈希值返回给协调器节点；

4.协调器节点对哈希值进行聚合，计算文献之间的相似度，并标记重复或抄袭文献；

5.协调器将结果保存到数据库中，方便后续查询。

三、进展与困难：

在此项目中，我们已经完成了系统的设计与基本实现。目前，我们已经完成了文献数据的划分，并使用Python脚本模拟了工作节点的功能，即文献分割、特征提取和哈