大规模句子相似度计算方法_附件.pdf

中 文 信 息 学 报 第20卷增刊 JOURNALOFCHINESEINFORMATIONPROCESSING VoL20SUPPL 文章编号:1003一0077(2006)增刊一0047一06 大规模句子相似度计算方法 黄河燕’，陈肇雄’，张孝飞’，张克亮’,2 (1.中国科学院计算机语言信息工程研究中心，北京 100083;2.南京理工大学，江苏南京 210094) 摘要:如何根据源语言文本从大规模语料库中找出其最相近的翻译实例，即句子相似度计算，是基于实 例翻译方法的关健问题之一。本文提出一种多层次句子相似度计算方法:首先基于句子的词表层特征和信 息嫡从大规模语料库中选择出少量候选实例，然后针对这些候选实例进行泛化匹配，从而计算出相似句子。 在多策略机器翻译系统IHSMTS中的实验表明，当语料规模为20万英汉句对时，系统提取相似句子的召回率 达%%，准确率达90%，充分说明了本文算法的有效性。 关健词:句子相似度;基于实例的机器翻译;多策略机器翻译;泛化匹配 中图分类号二TP391 文献标识码:A ApproachofLarge-ScaleSentenceSimilarityComputation HUANGHe-yan,CHENZhao-xiong,ZHANGXiao-fe,ZHANGKe-Liangl,2 (1.ResearchCenterofComputerLanguageInformationEngineering,ChineseAcademyofScience,Beijing100083,China; 2.NanjingUniversityofscienceTechnology,Nanjing,Jiangsu210094,China) Abstract;TheretrievalofthesimilartranslationexamplescorrespondingtotheSLsentencefromthelarge-scalecor- pora,orthecomputationofsentencesimilarity,isoneofthekeyproblemsofEBMT.Anewmulti-layersentencesim- ilaritycomputationapproachisproposedinthispaper.First,afewcandidatetranslationexamplesareselectedforma large-scalecorpusonthebasisofthesurfacefeaturesandentropiesofthegivenwords.Second,thedegreeofgeneral- izationmatchbetweentheinputsentenceandeachofthosecandidatetranslationexamplesiscomputedrespectively. Finally,thesentencesimilarityiscomputedaccordingtotheoutcomesoftheprevioustwosteps.Experimentalresults fromtestsonIHSMTSshowthatthisapproachhasarecallrateof96%andaprecisionrateof90%whenappliedto acorpusof200,000English-Chinesesentencepairs. Keywords;sentencesimilarity;example-basedmachinetranslation;hybrid-strategymachinetranslation;generaliza- tionmatching 1 引言 基于实例的机器翻译EBMT(Example-basedmachinetranslation)的基本思路是:预先构造 由双语对照的翻译单元对组成的语料库，然后翻译过程选择一个搜索和匹配算法，在语料库中 寻找最优匹配单元对，最后根据例句的译文构造出当前所翻译单元的译文’〕〔。如何根据源语 言文本找出其最相近的翻译实例，是基于实例翻译方法的关键问题之一。尤其是实用的EB- 收稿日期:2005一11-05