基于分词的语句相似度计算的改进-石家庄铁道大学学报自然科学版.PDFVIP

24 4 ( ) Vol． 24 No． 4 第 卷 第 期 石家庄铁道大学学报 自然科学版 20 11 12 JOURNAL OF SHIJIAZHUANG TIEDAO UNIVERSITY (NATURAL SCIENCE) Dec． 20 11 年 月  基于分词的语句相似度计算的改进 1 1 2 ， ， 邸书灵 刘晓飞 李 欢 (1． ， 050043 ;2 ． ， 063009) 石家庄铁道大学信息科学与技术学院 河北石家庄 河北联合大学现代教育技术中心 河北唐山 : 。 FAQ 摘要 语句相似度体现的是两个句子之间的相似程度 语句相似度计算是 和信息检索 。 ， 等方面核心技术之一 针对基于分词的相似度计算过于依赖实际的分词效果 在原相似度计算 ， 模型中增加了两个句子不分词时的词形相似度计算 以缓解因为句子分词不准确而导致相似度 。 “ ” ， ， 计算结果偏低的情况 结合 数据结构 课程问答系统的实验 结果表明 改进的方法比原方法 有较高的准确率。 : ; ; ; ; 关键词 语句相似度 分词 词形 词序 词长 中图分类号:TP391 文献标识码:A 文章编号:2095-0373 (20 11)04 -0094 -04 0 引言 ， 。 语句相似度计算是自然语言处理领域中比较重要的研究课题 应用广泛 语句相似度是指两个语句 ， ， 。 相似的程度 即通过一定的算法从信息库中查找与指定句子相似的句子 得到满足用户需求的句子 语 句相似度计算主要应用于FAQ 、 。 系统 信息检索和翻译等方面 ［1-4］ ［5-6］ ［1］ ， 、 、 目前有很多计算语句相似度计算的算法 如词形词序综合法 语义依存树法 编辑距离法 和 ［7］ ［8］ TFIDF 、 ， 。 基于关键词的 法 语义词典法 等 这些方法各有优缺点而且仍在不断发展完善 ， ， 介绍了词形词序综合法的语句相似度计算算法 它将句子分割成多个短语 消除了局部的次序变化 ，