(A20080613971.docVIP

http://www.paper. 中文文档相似度检测技术的研究及应用 黄玲莉 1，吴国新 2 1.东南大学计算机科学与工程学院，江苏南 ，210096  hllseu@ 摘要：在对现有的文档相似度算法等技术研究的基础上，本文提出一种中文文档相似度 算法，主要通过利用同义词库将词进行标准化以及分层相似度比较对文档进行相似性验证。 关键字：相似度算法 分词 同义词 文档剽窃  中图分类号：TP 1. 言 随着网络的发展，人们可以便捷的从网络中得到想要的信  ，但同时也带来了诸如非法 复制、非法分发等文档侵权等问题。为了用户的文档版权，在制定网络版权法的同时更需要 技术上的支持。网络中的文档侵权主要体现在非授权的文档分 ，而保护版权的关键是版权 验证，验证的核心是文档内容的相似度检测，现今已经有很多针对剽窃的方法被开发出来和 投入使用[1]。在允许用户获得需要的信息的同时防止对信息的违法拷贝和发布是文档版权管 理技术发展中的一个重要问题[2]。常规的版权验证方法是设置版权验证服务器，对提交的文 档进行相似检测，合法的文档将注册、存档和统一分发。 文档的相似检测技术利用文档相似度算法进行内容的相似度验证[1]。现有的文档相似度 检测算法都针对一个相对固定的文档集合[3]，如向量空间模型（VSM）中，文档集合中文档 的总数是固定的。通过对文档集合的分析，统计词的权重，进而将文档表示成一个以词的权 重为元素的空间向量。由于版权验证服务器中注册的文档具有递增性，因此，利用一般的文 档相似度算法具有一定的困难。为了使得文档的增长不会或尽 少的影响到算法的执行，本 文提出一种针对这个问题的文档相似度计算方法，利用引入的同义词库来确定词与词之间的 关系，而不需要再通过一个文档集合来计算词频。文档版权管理系统保护已经收录在数据库 中的有版权文档不被剽窃，文档版权所有者可以设定一个等级（如以段落为单位，允许该文 档被拷贝的段落数）。现有的文档相似度算法，如基于 VSM 的相似度算法等，关注的是整个 文档的相似程度，但是部分的高相似度和整个文档的相似度之 并不存在必然的联系。所以 需要引入探测部分相似度的技术，以更高效的识别剽窃行为。本文提出的算法通过分层验证 文档的相似度。在段落相似度比较层次记录相似度高于某个阈 文档版权所有者设定的值做比较，来确定是否存在剽窃行为。 2.相关研究 的段落的个数。将这个值和  2.1 中文分词 - 1 - http://www.paper. 由于汉语自身的特点，词与词之间没有明显的分割符号，中文文档处理的第一步就是进 行分词处理。词是最小的能够独立活动的有意义的语言成分，是自然语言处理系统中重要的 知识载体与基本操作单元。中文分词就是由计算机自动识别文本中词边界的过程,它是中文 信息处理最重要的预处理。汉语分词是中文信息处理的基础。汉语分词系统的实现及效果依 赖于分词理论与方法。目前国内分词系统所采用的或者正在研究的方法基本上分为以下几类 [4]： (1)机械分词法。机械分词法主要有最大匹配法(MM 法)、逆向最大匹配法(RMM、OMM、 IMM)、逐词匹配法、部件词典法、词频统计法、设立标志法等。 (2)语义分词法。语义分词法引入了语义分析，对自然语言自身的语言信息进行更多的 处理,如扩充转移网络法、知识分词语义分析法、邻接约束法、综合匹配法、后缀分词法等。 (3)人工智能法，又称理解分词法,如专家系统法、神经网络方法等。 本文使用中国科学院计算技术研究所研制的基于多层隐马模型的汉语词法分析系统 ICTCLAS(Institute of Computing Techno2logy,Chinese Lexica l Analysis System)对输 入的文档进行分词处理，该系统的功能有中文分词、词性标注、未登录词识别等。 2.2 目前常见的一些相似度计算方法 相似度算法可以分为主题相似和结构相似两类 结构相似度算法主要针对那些存在明显 的结构的文档，如 XML 文档、HTML 文档或者程序代码文档等结构化的文档。目前也有将没 有结构的文本文档进行结构化，然后再利用结构相似度算法来 行比较的算法，取得了比较 好的效果[5]。主题相似度算法研究的比较多,一个文档通常有一个或者几个主题，文档的主 题相似度是指两个文档的主命题相似。相似度计算通常是基于词或词组的联合出现的频率。 如果两个文档相同的词或词组很多，同时不同的词或词组很少，则认为它们主题相似。这类 相似度在文本的处理中得到了广泛的应用，也开发了很多不同 方法来评价它们。流行的主 题相似度算法包括：余弦算法、Jacca