改进编辑距离算法与汉语句子相似度计算.pdfVIP

·444 · 中国科协第二届优秀博士生学术年会论文集 改进编辑距离算法与汉语句子相似度计算 夏 天 樊孝忠 骆正华 刘 林 (北京理工大学信息学院计算机系 北京 100081) 摘 要 汉语句子相似度计算在中文信息处理的各个领域中都占有重要地位。通过对编辑距 离进行有效扩展，提出了一种衡量句子相似度的定量计算方法和对应的多项式时间算法。该方 法以词取代字符作为基本的编辑单元，基于词汇语义计算替换代价，引人块交换操作计算语义编 辑距离，并对距离进行归一化以计算句子的相似度。实验结果表明，该方法的准确率优于已有 方法。 关健词 编辑距离 块交换 句子相似度 归一化 ImprovedEditDistanceAlgorithmandChinese SentenceSimilarityComputing XIATian,FANXiaozhong,LUOZhenghua，LIULin (ComputerDepartmentBeijingInstituteofTechnology,Beijing100081,China) Abstract.ChinesesentencesimilaritycomputationplaysanimportantroleineachfieldofChinesein- formationprocessing.Onthebasisofeffectiveextensionofeditdistance,anewquantitativemeasuring sentencesimilaritymethodanditsrelevantpolynomialtimealgorithmhavebeenproposed.玩thismeth- od,eachwordisabasiceditunitinsteadofcharacter,andsentencesimilariytiscalculatedbycompu- tingwordsubstitutioncostsemantically,blockswapoperationisintroducedintosemanticedit.distance computingandnormalizationondistance.Experimentresultshowsthattheaccuracyofthenewmethod issuperiortoexistingones. Keywords editdistance,blockswap,sentencesimilariyt,normalization 1 引言 句子相似度计算在自然语言处理中有着广泛的应用，例如，在基于实例的机器翻译、自动问答、信息检 索以及拼写检查等领域，相似度计算都是一个非常关键的问题。 目前，已有多种方法用于相似度计算，如编辑距离法川,LCS法[21、移动窗口动态缩小法[31等，但这些 方法主要面向英文字符申处理，直接用于汉语句对时，效果并不理想。同时，国内学者也在这方面做了大 量研究，如穗志方、俞士坟提出了基于骨架依存树的语句相似度计算模型[a1;李素建基于知网和同义词词 林，提出了语句相关度的定量计算模型阁;吕学强等考虑词形相似度和词序相似度两个因索，提出了句子 相似模型和最相似句子的查找算法[61;车万翔等利用改进编辑距离进行中文相似句子的检索[[71;秦兵等采 用TFIDF法和基于语义的方法，面向常问间题集计算问句间的相似度[[8]。其中，文献4【〕的研究面向的是 机器翻译，主要强调在语法结构上的相似性;文献 5〔)[8]未考虑词序对根似度的影响，计算模型也存在明 显不足，如对于A“AAB，和“ABBB，形式的串，其计算结果为1，明显过高;文献6【]未考虑语义处理，对同义 词之间的替换无能为力;文献 7【〕未考虑块交换问题，也没有解决编辑距离作为相似度衡量标准时所存在 信息科技 ·445 · 的明显缺陷9[)0 本文采用了改进的编辑距离算法用于句子的相似度计算，同时考虑了编辑操作代价和句子长度对相 似度的影响，提出了新的块交换操作，并根据词汇之间的语义相似度赋予