基于修正偏移量的句子相似度算法.pdfVIP

第 卷 第 期 计 算 机 工 程 年 月 人工智能及识别技术 文章编号 文献标志码 中图分类号 基于修正偏移量的句子相似度算法 裴飞龙闵华松 武汉科技大学 冶金自动化与检测技术教育部工程研究中心武汉 摘 要 在计算词语语义相似度的基础上提出一种以句子中心词为基准衡量词语组合相对位置偏移量的句子相 似度计算方法 根据词语词性和语法规则确定句子中心词并剔除全局性限定词以句子中心词为基准对词语相对 位置进行标定并计算词语组合的相对位置偏移量综合句子长度差异性信息浅层次结构信息和语义信息计算句 子相似度 实验结果表明与基于统计与基于偏移量的句子相似度算法相比该算法具有较高的相似度计算准确 率召回率及综合指标 值 关键词 句子相似度中心词相对位置修正偏移量全局性限定词 中文引用格式裴飞龙闵华松基于修正偏移量的句子相似度算法计算机工程 英文引用格式 算法有 类 基于统计的相似度算法基于语义 概述 的相似度算法和基于句法结构的相似度算法 然 句子相似度计算在自然语言处理领域是一项应 而这 类算法都有各自的缺点 基于统计的相似 用非常广泛的技术 在信息检索过程中句子相似 度算法没有考虑文本的结构和语义信息对于句子 度反映的是文本与用户查询在意义上的符合程度 级的短文本特征词重复出现的概率很低会造成数 从相关的文档中检索出与用户查询相似度高的文 据稀疏的现象 基于句法结构的相似度算法依赖句 档 相似度计算的准确度影响着检索出的信息是否 法分析器目前句子各成分依存关系分析准确率不 符合用户的需求并且在机器翻译文本聚类 自动 高使得句子相似度计算准确率低 基于语义的相 摘要以及自动问答系统中句子相似度的计算都具有 似度算法虽然挖掘了文本的蕴含信息但没有考虑 重要作用 结构信息 由于句子具有数据稀疏性和时序性等特征使 针对以上 类算法的缺点国内外学者就多特 得某些句子相似度算法的准确率并不高难以区分 征融合的句子相似度算法做了很多研究 文 句子信息的差异程度 目前常用的句子相似度