论文相似度的计算研究——基于VSM模型.pdfVIP

第29卷 第2期 情 报 杂 志 Vo1．29 No．2 2010年2月 JOURNALOFINTELLIGENCE Feb． 2010 论文相似度的计算研究——基于VSM模型* TheResearchonCountingSimilarityofthePapers — — BasedonVSM Model 刘 翔 施干卫 丁祖荣 (浙江理工大学图书馆 杭州 310018) 摘 要 当前论文抄袭现象时有发生，对于学术的严谨性产生负面影响。通过基于VSM 相似度计算模型，采用 ICICLAS分词技术及MSOLE 自动化技术，探讨了论文提交与发布系统 中实现论文相似度计算的方法，有利于督 促导师对学生论文的指导 。 关键词 VSM模型 IrC OLE 自动化 中图分类号 G250 文献标识码 A 文章编号 1002—1965(2010)02—0142—03 目前，已经通过CALLS认证的四套学位论文提交 干词构成了一篇完整的论文 ，剔除论文中虚词，统计有 与发布系统，其基本功能大致相同，都具有6大功能模 实际意义的词形成该篇文章的数字水印。采用统计学 块 ：论文提交模块、论文审核与编 目模块、文档标准化 的方法比较两篇论文的数字水印，即可计算出论文的 制作模块、论文发布与检索模块、论文回溯制作模块和 相似程度 。由于论文包含有题名、摘要、章节 内容和参 服务器管理模块 。这四个系统均可 以良好地完成论文 考文献等组成部分，可分别形成论文中各个部分的数 提交和发布功能，但在论文内容的深度处理上无相应 字水印，从而实现论文的深度 比较 。在写文章时人们 的功能。很多高校采用这四套学位论文提交与发布系 总是习惯在文章的特定位置表述比较重要的信息，例 统，如果在系统中实现论文相似性的分析，则可以很大 如：标题是全文内容的高度概括，每一段的主体句常常 程度上提高学生论文的质量，督促导师对学生论文的 在段首或段尾，同时由于论文本身允许部分内容的引 指 导。 用，基于词语级别的处理可以采用核心词共现的方法 国内已有独立 的论文相似度检测产品出现 ，如 来进行比较 ，则更具灵活性。 ROST和CNKIAMLC，其 中ROSY从公布的文档看 ， 1．2 文本相似度计算 文本相似度计算是指利用 是通过 自动将文档切割为多个 50到200字 (可 自定 计算机 自动计算文本间的相似度，文本相似度是表示 辽)的小文本进行比对，而CNrKIAMLC是采用整句和 两个或多个文本之间匹配程度的一个度量参数，相似 擎段的对比方法0j。本文从文本相似度研究入手，采 度越大表明文件相似程度越高。在 自然语言处理领 用VSM模型和 ICTCLAS智能分词系统实现基于词 域，在统计学的方法 中文本的表示主要采用 VSM模 语级别的对比方法，探讨论文相似度计算在论文发布 型，这种方法认为每篇文本都包含一些用概念词表达 系统 中的应用。 的揭示其内容的独立属性。这些概念属性构成了文章 的主体，同时这些属性可以看成一个维数，文本可以表 1 系统实现所涉及的关键技术 示成这些维数的集合。对需要比较相似度的文本进行 1．1 系统设计思路 汉语的书面表达方式是以汉 分析，根据文本中的