【自然语言处理实践19】基于预训练-微调的中英机器翻译.pptxVIP

1基于预训练-微调的中-英机器翻译

2预训练+微调的范式目前绝大多数AI任务都是建立在数据的基础之上的统计学习，模型的表现效果很大程度上依赖于数据的质量和数量。利用大量较易获得的无标注语料上来预训练模型，在具体应用场景下游任务上再利用少量标注数据微调来实现实际场景可用的自监督表示学习模型，已经成为自然语言处理领域的一种新的成功范式。例如BERT在大规模纯文本上预训练后，在自然语言理解的11项任务上少量微调就能取得很好的成绩。已有的生成式预训练模型如MASS、UniLM、BART等，将MaskLM学习任务和seq2seq框架结合，在一系列自然语言生成任务上取得了SOTA的研究成果。但是这些预训练模型很少关注自然语言生成中的曝光偏差问题。

3MASS/BART

4MASSTransformer架构（encoder-decoder）seq2seq框架（encoder-decoder）MASS对句子随机屏蔽一个长度为k的连续片段，然后通过编码器-注意力-解码器模型预测生成该片段。如上图所示，编码器端的第3-6个词被屏蔽掉，然后解码器端只预测这几个连续的词，而屏蔽掉其它词，图中“_”代表被屏蔽的词。

5BARTBART模型在微调阶段应用于机器翻译任务时，具体的做法是将BART的encoder端的embedding层替换成randomlyinitializedencoder，新的enc