统计机器翻译领域自适应总结.docVIP

统计机器翻译领域自适应总结 　　摘 要：统计机器翻译的准确性在很大程度上取决于翻译建模的质量，而翻译建模往往依赖于数据的分布。通常上，大多数机器学习任务会假设训练数据和测试数据是独立同分布的，然而在实际的系统中，这种假设未必成立。因此，为了达到性能的最优，需要根据数据分布的情况对模型进行适当的迁移。近年来，领域自适应技术成为统计机器翻译研究中的一个热点话题，目的在于解决训练数据和测试数据的领域分布不一致问题。本文介绍了几类流行的统计机器翻译领域自适应方法，并对未来的研究提出一些展望。 　　关键词：统计机器翻译；领域自适应 　　中图分类号：TP391.41 文献标识号：A 文章编号：2095-2163（2014）06- 　　Abstract： Statistical Machine Translation （SMT） depends largely on the performance of translation modeling， which further relies on data distribution. Usually， many machine learning tasks assume that the data distributions of training and testing domains are similar. However， this assumption does not hold for real world SMT systems. Therefore， we need to adapt the models according to the data distribution in order to optimize the performance. Recently， domain adaptation is an active topic in SMT and aims to alleviate the domain mismatch between training and testing data. In this paper， we introduce several popular methods in domain adaptation for statistical machine translation and discuss some future work in this area. 　　Keywords： Statistical Machine Translation； Domain Adaptation 　　0 引 言 　　机器翻译又称为自动翻译，是利用计算机程序将文字从一种自然语言（源语言）翻译成另一种自然语言（目标语言）的处理过程。这是自然语言处理的一个分支，与计算语言学、自然语言理解之间存在着密不可分的关系。 　　机器翻译的方法主要可以分为基于规则的机器翻译方法、基于实例的机器翻译方法和基于统计的机器翻译方法。目前，统计机器翻译是非限定领域机器翻译中性能较佳的一种方法。统计机器翻译的基本思想是通过对大量的双语对照语料进行统计分析，构建统计翻译模型，进而使用此模型完成翻译。随着互联网技术的迅猛发展，人们获取信息的方式也发生了很大变化。互联网上有大量的信息以不同的语言为载体，这为统计机器翻译的研究提供了充足的数据支持。与此同时，随着统计机器翻译研究的深入，其性能及实用性也获得了较大提升，因而机器翻译技术的受众正日渐增多，其应用亦越来越广泛。通常来讲，一个成型的统计机器翻译系统使用了大规模的双语对照语料做训练，而且这些数据却常常来自于不同领域，具体则包括了政治、财经、军事、科技、体育、教育和娱乐等各大门类在内。除此之外，不同领域的语料涵盖了不同的文体，相应地包括着书面文体、口语文体和网络语言等。这种领域和文体的差异性给统计机器翻译的研究将会带来两个问题：其一，使用某一个领域或文体的双语语料训练得到的机器翻译系统在翻译同一领域的文本时效果最佳，而当翻译其他领域的文本时结果则常常不尽如人意，有时的翻译结果甚至不可接受，本文即将这种问题称为“领域间的自适应问题”。其二，使用多领域混合的双语语料训练得到的机器翻译系统的通用性虽然较好，但由于多个领域数据的相互影响以及相互制约，系统在某一特定领域往往无法达到最佳效果，在此则将这种问题称为“领域内的自适应问题”。在统计机器学习领域，已经研发了一些针对领域自适应问题的剞劂方法，但是其中的大部分仅能用于解决简单学习问题（如分类或回归）的计算实现，而对于统计机器翻译这种结构化学习问题，目前的尝试方法还较为有限，也随即成为亟待研究的热点问题之一。 　　1 统计机器翻译背景 　　2.1基于数据选择的方法