基于语义分布相似度的翻译模型领域自适应研究-山东大学学报理学版.pdf

　第５１卷　第７期 山　东　大　学　学　报　（理　学　版） ２０１６年７月　 　 　 　 　 　 　Ｖｏｌ．５１　 Ｎｏ．７　 　 　 　 　 ＪｏｕｒｎａｌｏｆＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｊｕｌ．２０１６　 　文章编号：１６７１９３５２（２０１６）０７００４３０８　　　ＤＯＩ：１０６０４０／ｊ．ｉｓｓｎ．１６７１９３５２．１．２０１５１１６ 基于语义分布相似度的翻译模型领域自适应研究  姚亮，洪宇 ，刘昊，刘乐，姚建民 （苏州大学江苏省计算机信息处理重点实验室，江苏 苏州２１５００６） 摘要：统计机器翻译系统由规模较大、领域混杂的平行语料训练获得，当训练数据和测试数据领域分布不一致时， 其翻译质量往往较低。针对这一问题，提出了一种基于语义分布相似度的翻译模型领域自适应方法。该方法首 先获得目标领域源语言端和目标语言端的词向量，并构建二者之间的映射关系。借助这一映射关系，获取源语言 单词在目标语言端的语义ｋ近邻词，然后基于该语义ｋ近邻词在通用领域语义空间的分布，计算双语短语在目标 领域下的翻译相似度，并作为新特征加入解码器，以此提升通用翻译模型的领域自适应能力。实验结果表明，相 比于基准系统，利用本文所提方法优化后的翻译系统在英汉翻译任务新闻领域测试集和科技领域测试集上，分别 获得０６７和０５６个ＢＬＥＵ值的性能提升。 关键词：翻译模型；词向量；向量映射；语义分布；领域自适应 中图分类号：ＴＰ３９３　　　文献标志码：Ａ 引用格式：姚亮，洪宇，刘昊，等．基于语义分布相似度的翻译模型领域自适应研究［Ｊ］．山东大学学报（理学版），２０１６，５１（７）：４３５０． Ｔｒａｎｓｌａｔｉｏｎｍｏｄｅｌａｄａｐｔａｔｉｏｎｂａｓｅｄｏｎｓｅｍａｎｔｉｃｄｉｓｔｒｉｂｕｔｉｏｎｓｉｍｉｌａｒｉｔｙ  ＹＡＯＬｉａｎｇ，ＨＯＮＧＹｕ ，ＬＩＵＨａｏ，ＬＩＵＬｅ，ＹＡＯＪｉａｎｍｉｎ （ＰｒｏｖｉｎｃｉａｌＫｅｙＬａｂｏｒａｔｏｒｙｏｆＣｏｍｐｕｔｅｒＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ， Ｓｕｚｈｏｕ２１５００６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｓｔａｔｉｓｔｉｃａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ（ＳＭＴ）ｓｙｓｔｅｍｉｓｔｒａｉｎｅｄｗｉｔｈｌａｒｇｅｓｃａｌｅａｎｄｄｏｍａｉｎｍｉｘｅｄｐａｒａｌｌｅｌｃｏｒｐｕｓ， ｗｈｅｎｔｈｅｄａｔａｆｏｒｔｒａｉｎｉｎｇａｎｄｔｅｓｔｉｎｇａｒｅｎｏｔｂｅｌｏｎｇｅｄｔｏｔｈｅｓａｍｅｄｏｍａｉｎ，ｔｈｅｔｒａｎｓｌａｔｉｏｎｑｕａｌｉｔｙｕｓｕａｌｌｙｄｒｏｐｓｄｒａｍａｔ ｉｃａｌｌｙ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｗｅｐｒｏｐｏｓｅｄａｎｏｖｅｌａｐｐｒｏａｃｈｔｏａｄａｐｔｔｈｅｔｒａｎｓｌａｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｓｅｍａｎｔｉｃｄｉｓｔｒｉｂｕ ｔｉｏｎｓｉｍｉｌａｒｉｔｙｏｆｔｒａｎｓｌａｔｉｏｎｐａｉｒ．Ｔｈｅａｐｐｒｏａｃｈｆｉｒｓｔｌｙｏｂｔａｉｎｅｄｗｏｒｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｏｔｈｉｎｓｏｕｒｃｅａｎｄｔａｒｇｅｔｌａｎｇｕａｇｅ， ａｎｄｔｈｅｎｂｕｉｌｔｍａｐｐｉｎｇｔｏｌｉｎｋｔｈｅｄｉｆｆｅｒｅｎｔｖｅｃｔｏｒｓｐａｃｅ．Ｗｉｔｈｔｈｅｍａｐｐｉｎｇｆｕｎｃｔｉｏｎｔｈｅｓｅｍａｎｔｉｃｋｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｓｏｆ ｓｏｕｒｃｅｌａｎｇｕａｇｅｉｎｔｈｅｔａｒｇｅｔｖｅｃｔｏｒｓｐａｃｅｃａｎｂｅｅａｓｉｌｙｏｂｔａｉｎｅｄ．Ｂａｓｅｄｏｎｔｈｅｓｅｍａｎｔｉｃｄｉｓｔｒ