词语相似度算法的研究综述.docVIP

词语相似度算法的研究综述 　　[摘要]词语相似度计算方法在信息检索、词义消歧、机器翻译等自然语言处理领域有着广泛的应用。现有的词语相似度算法主要分为基于统计和基于语义资源两类方法，前者是从大规模的语料中统计与词语共现的上下文信息以计算其相似度，而后者利用人工构建的语义词典或语义网络计算相似度。本文比较分析了两类词语相似度算法，重点介绍了基于Web语料库和基于雏基百科的算法，并总结了各自的特点和不足之处。最后提出，在信息技术的影响下，基于维基百科和基于混合技术的词语相似度算法以及关联数据驱动的相似性计算具有潜在的发展趋势。 　　[关键词]词语相似度；语义资源；语料库；维基百科；WordNet 　　[中图分类号]TP18 　　[文献标识码]A 　　[文章编号]1008-0821（2015）04-0172-06 　　词语之间的语义相似性研究是自然语言处理以及人工智能领域的基础性研究，如搜索、聚类以及歧义消除等，需要依赖于包含现实世界概念与关系的范围广泛的知识组织体系。自然语言的词语之间有着非常复杂的关系，如上下位关系、同义关系、反义关系等。词语相似度是对词语间复杂关系的数量化，是词语间语义相似紧密程度的一种定量度量。目前，词语相似度的研究可以分为两类，一类是基于语料库的算法，通过统计大规模语料库，根据词语间信息量或者词语共现频率来计算词语相似度。利用统计技术计算词语间语义相似度是一种无监督的机器学习方法。第二类是基于语义资源的算法，也可被称为基于本体的词语相似度算法，主要根据手工建立的语义网络，通过计算词语间距离得到词语相似度。另外，还有一类基于混合技术的词语相似度算法，通过将基于统计和基于语义的词语相似度算法集合起来，发挥各自算法的优势来计算词语相似度。 　　1 基于统计的词语相似度算法 　　这种方法是利用词语之间的相关性来计算词语相似度，假设语义相似的词语之间具有相同的上下文信息，根据上下文信息的概率分布作为相似度计算的依据。根据所用语料库的类型，可将其分为基于传统大规模语料库的方法和基于Web语料库的方法。 　　1.1基于传统大规模语料库的词语相似度算法 　　语料库是人们针对某一特定领域收集和整理的大量文档的集合，在利用大规模语料库进行词语相似度计算的研究中，很多学者应用了传统的互信息方法。L.Lillian利用相关熵，P.Brown等通过计算平均互信息来计算词语相似度。Dagan等使用了更为复杂的概率模型来计算词语的距离。Salton等提出词包法，通过构建词语语境向量，计算向量夹角余弦值来计算词语相似度。Deerwester等在词包方法的基础上提出潜在语义分析法（LSA），通过构建词汇――文档矩阵来解决数据稀疏的问题。赵军等在其提出的算法中，对关联频率分布规范化，通过计算词的属性向量间的距离来计算词语相似度。章志凌等基于统计的方法提出了基于词汇空间和关系空间的Corpus库，该库使用词语空间和关系空间结构化地存储了词语和其上下文之间的统计信息，为词语相似度的计算提供数据支持。 　　基于传统语料库的方法严重依赖于训练所用的语料库，语料库是提前准备好的，这种方法不能避免词汇不断更新，也无法计算未登录词相似度的问题，无法消除数据噪音的问题。另外，基于统计的算法没有考虑词汇的语义背景信息，这也大大降低了结果的准确度。 　　1.2基于Web语料库的词语相似度算法 　　随着互联网技术的飞速发展，Web语料库的出现为语料库的建设和研究提供了新的思路和方法。Web语料库以网络文本为基础，网络检索软件为技术手段，其词汇共现特征可被直接用来词语相似度的计算。商业搜索引擎提供了Web语料库的访问途径，能够方便快速地获取词语在Web数据库中单独出现、共同出现以及所处语境等信息，从而进行词语相似度的计算。目前，基于Web语料库，利用搜索引擎进行词语相似度计算的研究中，具有代表性的算法有PMI-IR、LC-IR以及Web-PMI算法。 　　P.Turney提出了PMI-IR（Pointwise Mutual Information using Information Retrieval）算法，通过搜索引擎获取数据，利用点互信息（PMI）以及搜索引擎检索返回的页面数作为词语相似度计算的指标。D.Higgins提出的LC-IR（Local Context-Information Retrieval）算法与PMI-IR算法相似，也采用Alta Vista搜索引擎，依赖于词语共现的频率统计信息。但是，LC-IR采用了不同的相似度度量标准，使用了词语被发现彼此相邻的频率，而不是词语在彼此10个字窗口内被发现的频率。该方法在一定程度上减少了PMI-IR算法存在的偶然共现词语对计算结果的干扰。在PMI-IR算法的基础上，D.Bolleg