树-串句法统计翻译模型的正向解码算法.pdfVIP

维普资讯 第36卷 第4期 华 中 科 技 大 学 学 报 (自然科学版) Vo1．36No．4 2008年 4fl J．HuazhongUniv．ofSci． Tech．(Natura1ScienceEdition) Apr． 2008 树一串句法统计翻译模型的正向解码算法 薛永增 李 生 赵铁军 杨沐昀 (哈尔滨工业大学 a媒体技术与艺术系； b语言语音教 育部一微软重点实验室，黑龙江 哈尔滨 150001) 摘要 ：针对树～串句法统计翻译模型提 出了基于对数线性模型的正 向解码算法．该解码算法直接对句法树进 行操作 ，能够简单有效地利用句法信息．在对数线性模型中定义了翻译模型概率、语言模型概率和空译文罚分 3个特征函数．采用集束搜索算法搜索假设空间，采用多栈存储假设，依据启发式策略进行假设打分．研究 了 假设的扩展方法，特别是树节点上不 同操作对位置有效性的影响．在 IWSIT2004数据集上进行 了对 比实验． 实验结果表明正向解码算法译文的BLEU评分高于传统解码算法 ，说 明正 向解码算法能够克服传统解码算 法的不足，有效利用句法结构信息，比传统解码算法更适合于树一串统计翻译模型． 关 键 词 ：自然语言处理 ；统计机器翻译 ；句法 ；正 向解码 ；启发式算法 中图分类号 ：TP391．2 文献标识码 ：A 文章编号：1671—4512(2008)04—0054—04 Directdecodingalgorithm forsyntax。_based tree--to-string statisticaltranslationmodel XueYongzeng LiSheng ZhaoTiejun gangMuyun (aDepartmentofNew MediaTechnologyandArt：bMOE—MSKeyLaboratoryofNaturalLanguage ProcessingandSpeech，HarbinInstituteofTechnology，Harbin150001，China) Abstract：Forsyntax—based tree—to—string statisticaltranslation model。directdecoding algorithm is presented，which isbasedontheframeworkofthelog—linearmode1．Thisalgorithm can operatesdi— rectlyontheparsingtrees，showingitseffectivenessandconvenienceinexploitingsyntacticalinforma— tionfortheprocessoftranslation．Forthe1og—linearmode1，threefeaturefunctionsweredefined，in— cludingthetranslationmodelprobability，thelanguagemodelprobabilityandthenulltranslationpen— alty．Thedirectdecodingalgorithm adoptsbeam searchalgorithm toprobethehypothesisspace，uses multi—stacks to store incomplete hypotheses and applies heuristics to re—score these hypotheses． Amongthesetechniques，themethodofextendingthehypothesis，especiallythevalidityofnodes