一种基于词共现的文本相似度计算.pdfVIP

维普资讯 CN43—1258／I、P 计算机工程与科学 2007年第 29卷第3期 ISSN 1007—130X C()MPU FER ENGINEERING SC：IENCE Vol_29，No．3，2007 文章编号：1007-130X(2007)003—0052—02 一 种基于词共现的文本相似度计算 TextSimilarityComputingBasedonWordCo-Occurrence 曹 恬，周 丽，张国煊 CAO Tian，ZHOULi，ZHANG Guo-x~an (杭州电子科技大学计算机学院，浙江杭州310018) (SchoolofComputerScience，Han~houDianziUniversity，Han~hou310018，China) 摘 要：在文本检索中，由于用户需求的表达方式不充分，常会得到大量无关信息，给用户检索带来诸多不便。本文提 出的基于词共现的文本相似度计算，可以让用户选择去掉或保留和某一文本相似的文本集，提高用户检索效率。 Abstract：Intextretrieval，insufficientexpressionoftheclientrequirementsusuallyleadstOlargeamountsofinappro— priateinformation，whichbringsinconveniencetOuserretrieva1．Fhetextsimilaritycomputingbasedonwordco-occurrence presentedinthispaperenablesuserstOdeleteormaintaintextcollectionssimilartOacertain textinordertOimprovere— trievalefficiency． 关键词：文本相似度；中文信息处理；特征串；词共现 Keywords：textsimilarity；Chineseinformationprocessing；stringoffeaturecode；wordco-occurrence 中图分类号：TP391．1 文献标识码 ：A 录关键词中的共现词，并对共现词集进行有效的归并，找出 1 引言 高频的共现词集。这将有助于加强同一类别文本相似度比 较的能力。 随着计算机技术的迅猛发展以及计算机广泛应用于社 基于以上思想，本文提出了一种基于传统 VSM和词 会生活的各个领域，我们这个社会正在进入一个信息化的 共现概念的文本相似度计算方法，并将该方法应用于相似 时代。在这样一个信息化的社会里．我们每时每刻面对着 文本的提取中。实验结果表明．基于传统 VSM 和词共现 大量的信息，如何快速有效地在这浩瀚的信息海洋里找到 概念的文本相似度比较方法比传统单纯基于关键词集的 需要的东西，是亟待解决的问题。目前的检索效果不是很 VSM方法具有更好的提取效果。 理想，主要原因在于用户不能很好地表达 自己的需求 ，而系 统给出过多的查询结果，给用户检索带来诸多不便。如果 能让用户在结果集中去掉或保留和某一文本相似的文本集 2 相关的研究