原创力文档- 1、本文档共61页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
机器翻译与写作Python自然语言处理第十一章
CONTENT目录01机器翻译02机器写作
课前回顾词嵌入算法训练词向量实践循环神经网络Seq2Seq模型与实战
01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战
机器翻译的意义克服人类交流的语言障碍机器翻译能够帮助不同语言的人自由地交流有意义的研究课题机器翻译推动自然语言处理的发展
01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战
经典的神经网络机器翻译模型01-基于循环神经网络的神经网络机器翻译02-从卷积序列到序列模型03-基于自注意力机制的Transformer模型
01-基于循环神经网络的神经网络机器翻译编码器解码器模型端到端模型基于循环神经网络的神经网络机器翻译模型大致可分为端到端模型和编码器解码器模型
翻译模型-端到端模型端到端模型模型输入“A、”B、“C，在输入条件下依次生成输出”W、“X、”Y、“Z，其中”\EOS“为人为加入的句子结束标志01-基于循环神经网络的神经网络机器翻译
翻译模型-编码器解码器模型编码器解码器模型?01-基于循环神经网络的神经网络机器翻译
翻译模型-编码器解码器模型编码器解码器模型优势：解码器在生成目标语言的词语时，不仅考虑了源语言中的词语的全局信息，还考虑了已经生成的部分译文。?01-基于循环神经网络的神经网络机器翻译
01-基于循环神经网络的神经网络机器翻译基于循环神经网络的编码器-解码器框架
基于循环神经网络的神经网络机器翻译优点： 由于引入了长短期记忆，神经机器翻译的性能获得了大幅度提升，取得了与传统统计机器翻译相当甚至更好的准确率。不足： 1、不管是较长的源语言句子，还是较短的源语言句子，编码器都需将其映射成一个维度固定的向量，这对实现准确的编码提出了极大的挑战。 2、对于较短的源语言句子，维数设置过大会浪费存储空间和训练时间；对于较长的源语句子，维数设置过小会造成语义细节信息丢失的问题。基于循环神经网络的神经网络机器翻译的优缺点
基于循环神经网络的神经网络机器翻译基于注意力机制的循环神经网络机器翻译模型基于注意力的神经机器翻译将源语言句子编码为向量序列，而不是一个固定向量，在生成目标语言词语时，能够利用与生成该词相关的源语言词语信息，所对应词语在源语言中可以连续存在，也可以离散分布。
从卷积序列到序列模型ConvS2S模型的架构2017年5月，FacebookAI实验室提出将卷积神经网络引入序列到序列的神经网络机器翻译模型，这样既可以处理序列变长的问题，又可以实现在序列不同位置的并行计算。卷积序列到序列（ConvS2S）模型的结构如右图RNN的缺陷：由于下一个时刻的输出要依赖于上一个时刻的输出，从而导致无法在整个序列上进行并行处理，引起训练时间过长。
从卷积序列到序列模型ConvS2S模型的架构上左部分是编码器，通过层叠的卷积抽取输入序列的特征，通过门控线性单元的非线性变换得到相应的隐层表示。下左部分是解码器，采用与编码器相同的层叠卷积运算抽取输出序列的特征，经过门控线性单元激活做为编码器的输出。中间部分是注意力部分，把编码器和解码器的输出做点乘运算，作为输入序列中每个词的权重。中右部分是残差连接部分，把注意力部分计算的权重与输入序列相乘，然后加入到解码器的输出中得到最终的输出序列。
从卷积序列到序列模型ConvS2S模型的架构该模型的编码器和解码器之间采用的是多步注意机制，即每个卷积层都进行注意力建模，并且将上层卷积的输出作为下一层的输入，经过层层堆叠得到最终的输出。
基于自注意力机制的Transformer模型RNN相关算法的限制：t时刻的计算依赖t-1时刻的计算结果，限制了模型的并行能力。顺序计算的过程中信息会丢失，尽管LSTM等门机制的结构在一定程度上缓解了长期依赖的问题，但对于特别长期的依赖现象，LSTM等仍旧无能为力。
基于自注意力机制的Transformer模型Transformer模型架构?为了解决上述问题，Google于2017提出了transformer模型。该模型采用注意力机制代替了RNN搭建整个模型框架。提出了多重自注意力机制，在编码器和解码器中大量使用了多重自注意力机制。
基于自注意力机制的Transformer模型?多重自注意力机制
基于自注意力机制的Transformer模型?
01机器翻译机器翻译的意义经典的神经网络机器翻译模型机器翻译译文质量评价机器翻译面临的挑战
机器翻译译文质量评价BLEUNISTMETEOR国际上用于评判机器翻译系统好坏有3种指标：
BLEU采用N-gram匹配规则比较并统计共同出现的元词的个数，即统计同时出现在系统译文和参考译文中的元词的个数，最后将匹配到的元词的个数除以
文档评论（0）