基于树到串模型强化的层次短语机器翻译解码方法.pdfVIP

第３９卷 第４期 ２０１６年４月 计 算 机 学 报 ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．３９ Ｎｏ．４ Ａｐｒ．２０１６ 收稿日期在线出版日期本课题得到国家自然科学基金６１２７２３７６、中国博士后科学基金 （２０１３Ｍ５３０１３１）资助．肖 桐，男，１９８２年生，博士，讲师，主要研究方向为机器翻译、自然语言处理．Ｅｍａｉｌ：ｘｉａｏｔｏｎｇ＠ｍａｉｌ．ｎｅｕ．ｅｄｕ．ｃｎ． 朱靖波，男，１９７３年生，博士，教授，主要研究领域为机器翻译、自然语言处理． 基于树到串模型强化的层次短语 机器翻译解码方法 肖 桐 朱靖波 （东北大学信息科学与工程学院 沈阳 １１０８１９） 摘 要 文中研究了利用树到串模型对层次短语模型进行强化的统计机器翻译解码方法．其基本框架是把层次短 语模型作为基础模型，而把树到串模型作为层次短语模型的补充，增加翻译推导空间大小．文中重点研究了在该框 架下的统计机器翻译解码技术，并提出了多种解码策略，包括基于树的精确解码策略、基于树的模糊解码策略和基 于串的解码策略．通过ＮＩＳＴ汉英翻译任务上的实验结果显示，文中所研究的方法可以十分有效地提升基线层次短 语系统的翻译性能，比如在ｎｅｗｓｗｉｒｅ和ｗｅｂ数据上分别提高了１．３和１．２个ＢＬＥＵ点．此外，文中分析了若干影 响翻译性能的因素，并给出了对比实验结果． 关键词 统计机器翻译；层次短语模型；树到串模型；规则抽取；解码；社会媒体；社交网络；自然语言处理；机器翻译 中图法分类号 ＴＰ３９１ DOI号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１６．００８０８ OnDecodingwithAugmentedHierarchicalPhrase-BasedTranslation ModelsUsingTree-to-StringModels ＸＩＡＯＴｏｎｇ ＺＨＵＪｉｎｇＢｏ （ＣollegeofＩnformationＳcienceandＥngineering，ＮortheasternＵniversity，Ｓhenyang １１０８１９） Abstract ＷｅｓｔｕｄｙｄｅｃｏｄｉｎｇｍｅｔｈｏｄｓｔｏａｕｇｍｅｎｔａｈｉｅｒａｒｃｈｉｃａｌｐｈｒａｓｅｂａｓｅｄＭａｃｈｉｎｅＴｒａｎｓｌａｔｉｏｎ （ＭＴ）ｓｙｓｔｅｍｗｉｔｈａｔｒｅｅｔｏｓｔｒｉｎｇｍｏｄｅｌｉｎｔｈｉｓｐａｐｅｒ．Ｉｎｔｈｉｓｆｒａｍｅｗｏｒｋｔｈｅｈｉｅｒａｒｃｈｉｃａｌｐｈｒａｓｅ ｂａｓｅｄｍｏｄｅｌｉｓｒｅｇａｒｄｅｄａｓｔｈｅｂａｓｅｍｏｄｅｌ，ａｎｄｔｈｅｔｒｅｅｔｏｓｔｒｉｎｇｍｏｄｅｌｉｓｅｍｐｌｏｙｅｄｔｏｅｎｌａｒｇｅ ｔｈｅｄｅｒｉｖａｔｉｏｎｓｐａｃｅ．Ｉｎｐａｒｔｉｃｕｌａｒ，ｗｅｐｒｅｓｅｎｔｓｅｖｅｒａｌｄｅｃｏｄｉｎｇｓｔｒａｔｅｇｉｅｓ，ｉｎｃｌｕｄｉｎｇｔｒｅｅｂａｓｅｄ ｅｘａｃｔｄｅｃｏｄｉｎｇ，ｔｒｅｅｂａｓｅｄｆｕｚｚｙｄｅｃｏｄｉｎｇａｎｄｓｔｒｉｎｇｂａｓｅｄｄｅｃｏｄｉｎｇ．Ｗｅｅｘｐｅｒｉｍｅｎｔｗｉｔｈｏｕｒ ａｐｐｒｏａｃｈｉｎａｓｔａｔｅｏｆｔｈｅａｒｔＭＴｓｙｓｔｅｍｏｎｔｈｅＮＩＳＴＭＴｅｖａｌｕａｔｉｏｎｄａｔａ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ ｓｈｏｗｔｈａｔｉｔｏｕｔｐｅｒｆｏｒｍｓａｓｔｒｏｎｇｂａｓｅｌｉｎｅｏｖｅｒ１．３ａｎｄ１．２ＢＬＥＵｐｏｉｎｔｓｏｎｔｈｅｎｅｗｓｗｉｒｅａｎｄ ｗｅｂｄａｔａｒｅｓｐｅｃｔｉｖｅｌｙ．Ｍｏｒｅｏｖｅｒ，ｗｅｓｈｏｗａｓｙｓｔｅｍａｔｉｃｃｏｍｐａｒｉｓｏｎｏｆｓｅｖｅｒａｌｆａｃｔｏｒｓｔｈａｔａｆｆｅｃｔ ｔｈｅｔｒａｎｓｌａｔｉｏｎｑｕａｌｉｔｙ． Keywords ｓｔａｔｉｓｔｉｃａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ；ｈｉｅｒａｒｃｈｉｃａｌｐｈｒａｓｅｂａｓｅｄｍｏｄｅｌ；ｔｒｅｅｔｏｓｔｒｉｎｇｍｏｄｅｌ； ｒｕｌｅｅｘｔｒａｃｔｉｏｎ；ｄｅｃｏｄｉｎｇ；ｓｏｃｉａｌｍｅｄｉａ；ｓｏｃｉａｌｎｅｔｗｏｒｋｓ；ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ；ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ １ 引 言 基于句法的统计机器翻译模型在最近十年中取 得了前所未有的发展．其中最成功的一类模型是基 于同步上下文无关文法（ＳＣＦＧ）的层次短语模型［１］． 在该模型中，由于翻译规则的抽取没有使用任何的 源语（或者目标语）语言学句法信息做约束，因此可 以学习到数量巨大的翻译规则．为了把规则数量控 制在可接受的范围内，现在广泛的做法是在ＳＣＦＧ 规则抽取和使用阶段引入一些限制，比如：解码时 ＳＣＦＧ规则被应用的源语言跨度①不能超过一个阈 值（比如１