一种频率增强语句语义相似度计算.docVIP

一种频率增强语句语义相似度计算 　　摘要：目前，在基于HowNet进行语句语义相似度计算的算法中，没有考虑语句中的不同词语对语句之间相似度值的不同贡献程度，以致计算结果不理想.为了更好地解决上述缺陷，提出了一种频率增强语句语义相似度算法.该算法利用HowNet作为词典库，在同时考虑义原距离和义原深度的条件下，进行词语相似度计算；在此基础上算法进一步将词语在语料库中的频率函数作为权重值，引入至语句的语义相似度计算中，以降低高频率词语在语句相似度值中的比重.实验表明，改进的算法在语句相似度计算结果上与人们的主观判断更接近，结果更合理. 　　关键词：HowNet；义原树状结构；语料库；语义相似度 　　中图分类号：TP39 文献标识码：A 　　文本相似度＼[1＼]是表示两个或多个文本之间匹配程度的一个度量参数，相似度越大，说明对比的内容相似程度越高，反之越低.文本相似度计算广泛应用于文本挖掘、Web信息搜索和机器翻译等，是自然语言处理中的一个重要研究领域＼[2＼].在长文本句子相似度计算中，主要分析相同的句子并且将句子分类＼[1＼]；在图像修复中，根据嵌入图像的描述文字进行修复可以达到更高的精度＼[3＼]，在web内容进行搜索时，计算web页面中的语句相似度能够更加有效地推荐搜索结果＼[4＼]. 　　当前的文本相似度计算包括词语相似度计算，语句相似度计算等，词语相似度计算是指词语之间在语义上的相似度计算，狭义地说，是指从字面上来计算两个词语之间的相似度＼[5＼]，其研究方法主要包括利用语义词典以及词典中数据的树状层次结构关系，来计算词语之间的语义相似度值；其次是利用统计学中的概率分布思想，结合语料库，通过词语在语料库中出现的频率来反应词语间的相似度.第一类方法的基础是语义词典库，根据义原或者词语本身构成的树状结构，来得到词语的相似度值，这类方法的一个较明显的缺点是词典库中经常存在一些没有登录或记录的词汇.第二类方法的基础是语料库，该方法中假定当词语所在的上下文环境相似时，词语之间才是相似的.但是这个方法中的一个缺陷是有时语料库中的词语频率函数并不满足某种概率分布＼[6＼]. 　　但是，单纯的词语之间语义相似度计算还不足以满足日常需要，人们在平常的工作生活中，接触到的通常是以文本形式出现的信息，因此，词语语义相似度计算还需要过渡到语句语义相似度计算层面上.在语义相似度计算方法中，主要包括将词性和词序结合的方法＼[7＼]、依存树法、编辑距离方法和基于HowNet的方法＼[8＼]等，我们从复杂度、词语权重信息、同义词反义词、数据稀疏、语义信息、语句结构和算法可行度进行分析发现，这些方法并不能完全满足这些因素. 　　在以往的文本或者长句相似度匹配中，可以通过上下文关系中推断出文本的语义，但是在短句中，由于词汇量的问题，以往的语句相似度计算法在短句中的语义相似度计算中有效性不高＼[9＼]，因而文本中短句中相似度计算， 如5～25个词语组成的不讲究语法的短句，已逐渐成为自然语言处理中的一个重要领域. 　　本文将HowNet作为语义词典库， HowNet是由董振东先生创立， HowNet的描述对象是汉语词语和英语词语所代表的概念，它揭示了概念之间以及概念属性之间的复杂关系，并以此构成一个组织庞大、内容丰富的知识库. 　　4结论 　　本文以HowNet为语义词典库，介绍了HowNet中义原相似度计算、概念相似度计算以及词语相似度计算的细节和公式.最终，以此为基础，研究了改进的语句语义相似度计算. 　　在对语句相似度算法改进时，将词语在语料库中的频率函数作为权重系数加入到计算公式中.语料库中词语出现的频率越大，对语句整体所起的作用越小，反之则越大，这个规律与人们日常的观念也相符合.本文改进的算法在一定程度上解决了目前基于HowNet的语句相似度算法中存在的计算结果不合理现象.最后，通过三种方法的对比实验证明，改进后的语句相似度计算方法更合理. 　　参考文献 　　[1]ALIGULIYEV R M. A new sentence similarity measure and sentence based extractive technique for automatic text summarization＼[J＼]. Expert Systems with Application ，2009，36 （4）： 7764-7772. 　　＼[2＼]涂承胜，鲁明羽，陆玉昌.Web内容挖掘技术研究＼[J＼].计算机应用研究，2003，20（11）：5-9. 　　TU Chengsheng， LU Mingyu， LU Yucang. Web content mining technology＼[J＼]. Computer Application Resea