论文相似度与计算研究——基于VSM 模型.docVIP

论文相似度的计算研究 —— 基于VSM模型* 刘 翔 （浙江理工大学图书馆，杭州，310018） 摘要：基于VSM模型，采用ICTCLAS分词技术及MS OLE自动化技术，探讨了论文提交与发布系统中实现论文相似度计算的方法。 关键词：VSM模型 ICTCLAS OLE自动化 The research to counting similarity of the papers —— based on VSM model* Liu Xiang , Ding Zurong (Library of Zhejiang Sci-Tech University,Hangzhou 310018) Abstract: Based the model of VSM and adopting ICTCLAS dividing words technology and MS OLE Automation technology, we discuss how to realize the methods of counting the similarity of the papers under the system of publishing and presenting the papers. Keywords: VSM Model ICTCLAS OLE Automation 1 引 言 目前，已经通过CALIS认证的四套学位论文提交与发布系统，其基本功能大致相同，都具有6大功能模块：论文提交模块、论文审核与编目模块、文档标准化制作模块、论文发布与检索模块、论文回溯制作模块和服务器管理模块。这四个系统均可以良好的完成论文提交和发布功能，但在论文内容的深度处理上无相应的功能。如果在系统中实现论文相似性的分析，则可以很大程度上提高学生论文的质量，督促导师对学生论文的指导。本文从文本相似度研究入手，探讨了VSM模型在论文发布系统中的应用。 2系统实现所涉及的技术 2.1文本相似度计算 文本相似度计算是指利用计算机自动计算文本间的相似度，文本相似度是表示两个或多个文本之间匹配程度的一个度量参数，相似度越大表明文件相似程度越高。目前，国内外有很多学者在研究文本相似度计算问题，其中向量空间模型VSM（Vector Space Model）是近年来使用较多且效果较好的一种信息检索模型。该模型对需要比较相似度的文本进行分析，根据文本中的词语将文本映射为n维空间向量，然后通过比较向量间的余弦系数确定文本间的相似度，余弦值越大其相似度越高，计算公式为[1]： 其中，T、T’分别为待比较的两个文本的特征向量，Ti、Ti’ 分别为向量的第i维，n为特征向量的维数。 2.2中文分词算法 要对论文进行文本相似度计算，首先必须对论文进行分词。目前的中文分词算法归纳起来主要有两大类：一类是由字典匹配法和基于频度的方法组成，此类方法相对具体、实用；另一类是模拟人类的阅读过程，但由于中文的语法、语义相当复杂，受开发人员主观判断影响较大，所以效果并不如前一种理想，只在某一领域适用。现在常用的中文分词算法有逐词遍历法、二次扫描法和基于词频统计的分词法等。目前，由中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS[2]是在中文分词领域较为先进的系统，已经向国内外的企业和学术机构颁发了50,000多份授权，在ICTCLAS的众多版本中提供了开源的ICTCLAS版本，可从/Download.html 下载使用。 2.3 OLE自动化 应用程序间互相通信的方法有多种：OLE对象链接与嵌入、DDE动态数据交换等。当前OLE技术已经逐步取代了DDE技术，OLE已经成为应用程序间共享对象的工业标准。目前，论文提交方式大都采用Word文档方式提交，Word 文档本身是带格式的文件，除了可以在可视环境下进行文档编辑处理，还可以利用Word提供的OLE Automation[3]自动化程序接口即COM组件对象模型，采用VC++等编程语言实现Word文档操作的自动化。Word中有一百多个可以使用的对象，所有这些对象都可以通过OLE自动化来访问，例如利用该COM组件中TablesOfContents 类的pTablesOfContents方法可以提取论文的目录，可按提取的目录自动查找论文中的相关内容，实现对论文各部分的相似性比较，如摘要、论文内容和参考文献的比较。 3 系统设计与方案实现 由于目前的论文提交均是通过WEB方式提交服务器，服务器端收集了所有论文的Word文档。因此，可在服务器端直接运行论文相似性分析的程序，可利用夜间服务器的闲暇时间定时运行，减少对论文发布系统的干扰。在设计中笔者采用了Visual C++ 编写了原形模型,论文相似性计算系统结构图如图1所