维汉机器翻译中可变权重的编辑距离语言模型语料领域适应.pdfVIP

第十一届全国机器翻译研讨会(CWMT 2015) 中国 · 合肥 2015.9.24-25 维汉机器翻译中可变权重的编辑距离语言模型语料领域适应 1,2,3 1,2 1,2 1,2 1,2 朱少林 ，杨雅婷 ，米成刚 ，董瑞 ，王磊 （1.中国科学院新疆理化技术研究所，新疆 乌鲁木齐 邮编 830011； 2. 新疆民族语音语言信息处理重点实验室，新疆 乌鲁木齐 邮编 830011； 3. 中国科学院大学，北京 邮编 100049 ） 摘要：本文旨在从大规模的单语语料中选取特定领域语料训练统计机器翻译的语言模型,以提高机器翻译质 量。基于不同词对领域的贡献度不同和领域内语料句子在用词、搭配、句式结构等上具有诸多相同的特征 两个方面，并通过调研现有的领域适应语料选取技术，本文将词项的TD-IDF 权重与编辑距离方法相结合应 用到语言模型领域适应的语料选取中，以提高机器翻译质量，实验结果表明，本文的方法可以有效的提高 机器翻译质量。 关键词：统计机器翻译；领域适应；数据选取； 中图分类号：TP391 文献标识码：A Language model corpus adaptation by variable weights edit distance in Uighur-Chinese machine translation ZHU Shaolin1,2,3, YAN Yating1,2 , MI Chenggang1,2, DONG Rui1,2,WANG Lei1,2 (1.The Xinjiang Technical Institute of Physics Chemistry, Chinese Academy of Sciences, Urumqi, Xinjiang 830011, China ; 2. National key laboratory of speech language information processing of Xinjiang, Urumqi, Xinjiang 830011 , China ; 3. University of Chinese Academy of Sciences , Beijing 100049 , China) Abstract: The purpose of this paper is to extract specific areas corpus from the large-scale monolingual corpus to train language model of the statistical machine translation, to improve the quality of machine translation. Based on different words in the field of corpus have different contribution and the specific field sentences have many of the same characteristic which are sentence and field on collocation, sentence structure etc. This article will appliy the edit distance and TD-IDF weight to the field of adaptation in the selection of corpora, to improve the quality of machine translation.