基于改进VSM的句子相似度研究.pdfVIP

第 19卷。第 璺期 计 算 机 技 术 与发 展 V01．19 No．8 ． 2009年 8月 (X)MPUTERTECHN0LOGYAND DEVELD PMENT Aug． 2009 基于改进 VSM 的句子相似度研究 苏小虎 (安徽工业大学计算机学院，安徽 马鞍山243002) 摘 要：向量空间模型是以特征项权重为核心的算法，特征项权重对文本分类、检索等的效果起着至关重要的作用。文中 提出了一个新的权重概念——领域权重 ，并利用它改进传统向量空间模型。改进后的模型综合考虑原有特征项权重和文 档中特征项 自身的领域权重。在特定领域FAQ的检索中作测试实验，结果表明，改进的方法提高了检索的查准率、查全 率和 F测试值。 关键词：向量空间模型；领域权重；频率权重 中图分类号：TP312 文献标识码 ：A 文章编号：1673—629X(2009)08—0113—04 ResearchofSentenceSimilarityBasedonImprovedVSM SU Xiao-hu (Sctxx~lofComputer，AnhuiUniversityofTechnology，Ma’anshan243002，China) Abstract：ThecharacteristictermsweightisthecoreofVSM ，itplaystheveryimportantroleintextclassification，textretrieval，andSO On．Anewc。nceptnamelyterms’domainweightisputforward．80astoimprovethewe~htformuhofVSM．FurthernⅪre，original characteristictermsweightisalsocombined．WiththetestbasedonspecialdomainFAQ，experimentresultsshow thattheimpmvde methodraisedtheprecision，recallandtheFtestvalue． Keyw0rds：VSM；domain—weight：frequence—we~ht O 引 言 中重点研究向量空间模型中特征项权重的内涵，提出 处于信息化的、知识爆炸的现代社会中，人们无论 了一种特征项权重的改进算法，并结合特征项距离和 是在学习还是在其它方面都会时不时地遇到一些困 顺序信息，构成一种新的句子相似度算法。 惑，此时，都希望能得到及时的解决。今天，由于互联 网的普及和快捷，所以人们的 “解惑”最常用的渠道就 l 信息检索模型 是借助网络，而且搜索引擎成为首选。然而，搜索引擎 信息检索模型是信息检索任务及其实现方法的一 虽然决大多数时候能够帮助人们在浩如烟海的互联网 种数学抽象(或称数学模型)，是信息检索研究的主要 中找到所需的相关信息，但是，搜索引擎的局限性也很 内容之一。它一般从两个方面抽象地研究信息检索方 明显，如 ：仅 以几个关键词的简单组合来表达检索需 法 ：一是确定在模型中如何表示构成检索系统的两个 求 、相关性信息太多、检索效果差强人意、“表达意思差 要素，即文档和检索条件 (也称检索表达式)；二是确定 异”问题等等。除此 以外 ，对基于中文网页的搜索而