统计机器翻译系统中传统词典应用研究.pdfVIP

统计机器翻译系统中传统词典的应用研究1 曹杰 任志祥 吕雅娟 刘群 中国科学院计算技术研究所，中国科学院智能信息处理重点实验室，北京，100190 E-mail: {caojie, renzhixiang, lvyajuan, liuqun}@ 摘 要：词典是翻译系统中的重要资源，本文研究了将传统词典应用在统计机器翻译中的方法，包括在训练 部分词典加权到语料中使用和解码部分引入词典特征融入 log-linear 模型来使用。本文还提出了一种词典匹 配算法，使得实用的统计机器翻译系统具有动态添加新词的功能。实验表明，训练阶段中词典的主要作用 是缓解数据稀疏问题；解码部分词典特征的引入使系统更加偏向于选择含有词典数目更多的译文。词典匹 配算法的引入很好的改善了实用翻译系统中的用户体验，并能进一步提高翻译质量。 关键词：统计机器翻译、词典、自然语言理解、词典特征 The Application of Traditional Dictionary in Statistical Machine Translation Jie Cao, ZhiXiang Ren, Yajuan Lü and Qun Liu Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080, China E-mail: {caojie, renzhixiang , lvyajuan, liuqun}@ Abstract : This paper describes several ways of using dictionaries in Statistical Machine Translation. The dictionaries can be added to bilingual corpora with different weights in training, and also can be used as a feature in decoding. In addition, we describe a word-matching algorithm, which enable the MT system to translate new words added by users. Experiments have proved that in training, dictionaries’ contribution mostly lies in solving the problem of data sparse. Some phrases can’t be learned by bilingual corpora may obtain translations from dictionaries. Furthermore, dictionary feature can increase the probabilities of those translations which have more entries in dictionary. The word-matching algorithm improves translation quality, besides obtains good feedbacks from users. Key Words : statistical machine translation, traditional dictionary, natural language processing, dictionary feature 1. 引言 近年来，统计机器翻译的研究取得长足进展，译文质量不断提高，而对于词典这一传统 机器翻译系统常用资源的使用却没有太多关注，本文探讨了将传统词典应用于统计机器翻译 系统中的方法。 词典可以分为普通词典和领域词典两类，普通词典一般包含常用词语及译文，与具体领 1 本研究得到国家自然科学基金课60603095资助 域