基于上下文的词语相似度计算及其应用-计算机应用技术专业论文.docxVIP

沈阳航空工业学院硕士学位论文摘 沈阳航空工业学院硕士学位论文 摘 要 词语之间相互关系的量化方法是自然语言处理的重要研究内容，在信息检索、词义 消歧、机器翻译等自然语言处理领域都有广泛的应用。本文以知网为基础，研究和探讨 了词语的语义相似度和关系相似度的度量方法，提出了语义与统计相融合的语义相似度 算法和基于潜在语义索引的关系相似度算法，改进了相似度的计算结果，具体内容体现 如下： 现有的语义和关系相似度算法主要分为基于语义资源和基于统计两类方法，前者利 用人工构建的语义词典或语义网络计算相似度，而后者完全是数据驱动的方式，即从大 规模的语料中统计与词语共现的上下文信息以计算其相似度。本文研究知网的语义相似 度计算方法，针对其在计算异类义原词语间相似度效果不佳的不足，提出一种语义与统 计相融合的语义相似度算法，以改善最终的语义相似度计算结果。本文引入国家公务员 考试的替换题型作为中文词语相似度算法的测试集，在一定程度上解决该类问题缺少公 共中文测试集的问题，在该测试集对不同语义相似度算法进行对比，本算法取得了较好 的实验结果。 针对传统的无监督或半监督的关系相似度计算中难以解决的数据稀疏问题，本文使 用知网进行同义词扩展，运用奇异值分解降维去除噪声，从而提出一种基于潜在语义索 引的关系SN他,t度算法，最终在专利语料中进行关系分类实验，较传统的SVM分类准确 率提高6％，达到44％