基于Transformer序列到序列模型架构.pdfVIP

2认识Tf架构

学习标

学习T模型的作用f学习T总

体架构图中各个组成部分的名称f

Tf模型的作用

基于seq2seq架构的T模型可以完成自然语言

领域研究的典型任务如机器翻译文本生成等

同时又可以构建预训练语言模型

用于不同任务的迁移学习

在接下来的架构分析中假设使用T模型架构处理从一种语言文本到另一种语

言文本的翻译工作

因此很多命名方式遵循自然语言

中的规则

比如

embedding层将称作文本嵌

入层

embedding层产生的张量称为词嵌入张量

它的最后

维将称作词向量等

2Tf总体架构图

2认识Tf架构

学习标

了解Tf模型的作用

了解Tf总体架构图中各个组成部分的名称

Tf模型的作用

基于eq2seq架构的tf模型可以完成NL领域研究的典型