基于语义的语句相似度计算研究.pdfVIP

第 32卷第 4期 河 北 科 技 大 学 学 报 Vo1．32，No．4 2011年 8月 JournalofHebeiUniversityofScienceandTechnology Aug．2011 文章编号 ：1008—1542(2011)04—0364—04 基于语义的语句相似度计算研究 王保 民 ，刘明生 ，邢 飞 (1．邯郸学院信息工程学院，河北邯郸 056005；2．石家庄铁道大学信息科学与技术学院，河北石家 庄 050043) 摘 要 ：在对常用的语句相似度计算进行研究的基础上，指 出了这些方法存在 的不足 。为了满足实 际应用的需要 ，基于语句的语义和组成句子的词语在句子 中重要性程度 ，设计出了具有较高准确率 的相似度计算方法，通过实验 ，证明了这种方法的有效性。 ‘ 关键词 ：语句相似度 ；分词 ；词义消歧；权重 中图分类号 ：TP391 文献标志码 ：A Studyonsentencesimilaritycomputationbasedonsemantic W ANG Bao—min ，LIU Ming—sheng ，XING Fei。 (1．SchoolofInformationEngineering，HandanCollege，Handan Hebei056005，China；2．SchoolofInformationScienceand Technology，ShijiazhuangTiedaoUniversity，ShijiazhuangHebei050043，China) Abstract：Commonsimilaritycomputingmethodsareanalyzedandtheshortcomingsarepointedout．InordertOmeetthe needsofpracticalapplications，asimilaritycomputingmethodofhigheraccuracyisdesigned basedonthesemanticsofstate— mentsandtheimportantlevelofwordsinthesentence．Theeffectivenessofthisapproachisprovedbytheexperiment． Keywords：sentencesimilarity；segmentation；wordsensedisambiguation；weight 相似度计算是 自然语言处理领域一项核心的技术 ，决定着该领域工作的成败。例如 ，在机器翻译 中，相 似度计算主要是用来判断不同语言之间语义表达是否一致。在信息检索 中，检索 内容和检索 目标是否相关 是相似度计算的主要 目的。在 自动问答 中，相似度计算主要用来判断是否所答即所 问。在多文档文摘系统 中，相似度计算能够识别全部内容的重要部分，从而可以提取到文章摘要 。而在文本分类研究中，相似度计 算可以通过特征的相似程度比较把 目标文本归为某类 已知文本 中去。所 以，从某种意义上讲，相似度计算 的 好坏直接影响到众多语言处理系统 的发展 。 在 自然语言理解 的智能化发展过程中，中文 比大多数形合语言，如英文、法文 、德文等 ，具有更大难度。 这些形合语言，不要求严谨 的逻辑 ，只追求结构连环 。而 中文是意合语言[1]，词或句子的链接是通过其表达 意思的逻辑性完成的，随意性强 ，灵活多变是其最大的特点。所 以，研究汉语语句相似度计算必须考虑更多 问题。业界关于中文语句相似度计算的方法很多，但 由于没有完全涵盖所有问题 ，这些方法在效率和准确率 方面还有许多不足。 基于向量空间模型的TF_IDF(termfrequency—inversedocumentfrequency)方法[2]，将 目标文本按组成 顺序分成若干单词 ，并将每个单词依据其地位的高低加以权重 ，单词的多少决定相应坐标的坐标轴数量 ，权 重是坐标轴上相应的值。由此，目标文本被投影到此坐标系中构成了 1个矢量，同样比较样本也被投影到同 收稿 日期 ：2011—03—17；责任编辑 ：李 穆 作者简介 ：王保 民(1971一)，男，河北邯郸人，副教授，硕士，主要从事网络信