基于PyTorch的机器翻译算法的实现.PDFVIP

第28卷 第10期 计 算机 技 术 与发 展 Vol.28 No.10 2018年10月 COMPUTERTECHNOLOGY AND DEVELOPMENT Oct. 2018 基于PyTorch 的机器翻译算法的实现 李梦洁,董 峦 (新疆农业大学计算机与信息工程学院,新疆 乌鲁木齐 830000) 摘 要:当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固 定范围内的问题,因此所建模型的能力会受到约束。 序列到序列模型(sequence to sequence model)可以解决长距离约束问 题,但单纯的序列到序列模型无法对翻译中要参考词语前后或其他位置的内容来改善翻译质量的行为进行建模。 为了弥 补该缺陷,提出了注意力机制(attention mechanism)。 针对以上问题,报告了机器翻译及部分模型的研究现状,简述了深度 学习框架,分析了基于神经网络的机器翻译及注意力机制原理,并对使用PyTorch实现的序列到序列模型及注意力机制进 行了研究,通过分析翻译的时间消耗和翻译后的词错率以及评价标准的值来评价模型。 最终该模型在英法数据集上取得 了一定的效果。 关键词:机器翻译;序列对序列;注意力机制;词错率;循环神经网络 中图分类号:TP301.6 文献标识码:A 文章编号:1673-629X(2018)10-0160-04 doi:10.3969/j.issn.1673-629X.2018.10.033 Implementation of Machine Translation Algorithm Based on PyTorch LI Meng-jie,DONG Luan (School of Computer and Information Engineering,Xinjiang Agricultural University,Urumqi 830000,China) Abstract:When the sequenceisinputtothemachinetranslationmodel,withtheincreaseof sequencelength,therewillbetheproblem of long distance constraint,that is,the length of the input and output sequence islimited within a fixed range,so the capacity of the estab- lished model will be constrained. The sequence to sequence model can solve the problem of long distance constraint,but the simple se- quence to the sequence model cannot modelthebehavior ofimprovingthequality ofthetranslation in context oftranslation. In order to make up for thedefect,theattentionmechanismisproposed. Foraboveproblems,wereporttheresearch statusofmachinetranslationand some models,describe thedeeplearningframework,analyzetheprincipleofmachinetranslationandattentionmechanismbasedonneural network,and study theseq