【自然语言处理实践03】基于预训练的文本表示.pptxVIP

1基于预训练的文本表示

NLP预训练模型的发展语言模型word2vecglovefasttextelmoopenAI-GPTBERT词嵌入阶段预训练模型阶段2003年Bengio2013年Mikolov2014年Jeffrey2018年2月Allen2016年facebook2018年6月openAI2018年10月google+复杂网络模型+简单mlpBERT预训练-微调框架

BERT训练的词向量有什么不同？在word2vec中，相同词对应的向量训练好后就固定了但在不同的场景中，‘干什么’的意思会相同吗？这俩兄弟都叫transformer:BERT预训练-微调框架

BidirectionalEncoderRepresentationsfromTransformers说白了就是transformer的encoder部分并不需要标签，有语料就能训练了EncoderBERT是一个算法模型，它的出现打破了大量的自然语言处理任务的记录。在BERT的论文发布不久后，Google的研发团队还开放了该模型的代码，并提供了一些在大量数据集上预训练好的算法模型下载方式，这使得所有人都可以通过它来构建一个涉及NLP的算法模型，节约了大量训练语言模型所需的时间，精力，知识和资源BERT预训练-微调框架

BERT—模型结构特点：完全的双向，每一