面向论文相似性检测的数据预处理研究汇.doc

面向论文相似性检测的数据预处理研究 刘伙玉1,3 王东波2 1(南京大学信息管理学院 江苏南京 210023) 2(南京农业大学信息科学技术学院 江苏南京 210095) 3(江苏省数据工程与知识服务重点实验室 江苏南京 210023) 摘要：【目的】探究论文相似性检测中数据预处理的数据问题及相关方法。【方法】对数据预处理中的数据清洗、数据集成、数据变换和数据归约进行概述；对数据进行了细致的分析，采用基于规则的方法、基于统计的方法、基于语义的方法进行预处理。【结果】揭示了论文相似性检测中原始数据存在的数据质量问题，并在此基础上给出了数据预处理模型。【结论】 数据预处理有助于提高论文相似性检测结果的准确性；有效结合基于规则、统计、语义的三种方法有助于提高数据预处理效果。 关键词：相似性检测；抄袭检测；数据预处理；数据质量；数据清洗 分类号：TP311.13 Research and Implementation of Data Preprocessing Oriented to Paper Similarity Detection LIU Huoyu1,3 WANG Dongbo2 1(School of Information Management, Nanjing University, Nanjing 210023, China) 2(College of Information and Technology, Nanjing Agricultural University, Nanjing 210095, China) 3(Jiangsu Key Laboratory of Data Engineering and Knowledge Service, Nanjing 210023, China) ABSTRACT：ata preprocessing on paper similarity detection. [Methods] This article firstly summarizes data cleaning、data integration、data transformation and data reductionmakes a deep analysis to original data, and briefly introduces three data preprocessing methods: The rule-based method, the statistics-based method and semantic-based method. [Results] There are many data problems in the original data, based on which it describes the model of data preprocessing. [Conclusions] Data preprocessing can help to improve the accuracy of paper similarity detection; use the three methods together can improve the effect of data preprocessing. KEY WORDS: Similarity Detection; Plagiarism Detection; Data Preprocessing; Data Quality; Data Cleaning 1 引言 1.1 研究背景与意义 随着云计算、物联网等技术的兴起，以博客（微博）、社交网络为代表的新型信息发布方式的不断涌现，计算机信息系统在各行各业的普及，数据种类和规模正以前所未有的速度在增长和累积[1]。大数据时代的到来，使得各行各业的决策也从“业务驱动”开始向“数据驱动”转变，从海量的数据中获取潜在的有价值的信息也成为学术、商业、军事等领域关注的重中之重。然而纷繁复杂的数据往往都存在着大量质量问题，这将直接影响数据的信息服务质量；因此大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，都保证分析结果的真实和有价值。 1.2 研究内容 相似性检测（Similarity detection）就是判断一个文件（包括文档、图像、音频、视频等文件）的内容与其他某个或多个文件是否相似并根据检测结果给出一个相似度的数值表示。按照其检测的对象，可以分为文档、图像、音频、视频相似性检测等。文档相似性检测又可分程序或代码相似性检测和自然语言文本相似性检测[2]。论文相似性检测属于自然语言相似性检测中的一种，就是判断一篇论文的内容是否与其他某篇或多篇论文相似，给出相