BERT结构与2Vec模型详解及应用.pdf

Transformer

介绍一下bert结构

BERT使用了Transformer模型中的编(Encoder)部分,而没有使用器(Decoder)。Transformer

编由多个层(通常是12层)组成,每层包括自注意力机制和前馈神经网络。

双向编码:与之前的语言模型不同,BERT采用双向训练,即在预训练阶段,每个词的表示同时考虑了它

之前和的上下文信息

Bert预训练学习目标:

BERT的预训练主要有两个目标,MLM是随机遮蔽输入句子中的一些单词,然后让模型预测这些被遮蔽的

单词。NSP是让模型预测两个

文档评论(0)

1亿VIP精品文档

相关文档