从-Transformer到-Bert(最新整理版).pptxVIP

从Transformer到BERT;Transformer原理介绍

1.基本网络结构

2.transformer学到了什么

3.与CNN、RNN的对比;Tranformer结构;tranformer--encoder;一.Transformer原理介绍;一.Transformer原理介绍—学到了什么;模式1：注意下一个词;模式3：注意相同或相关的单词;模式6：注意分隔符;或许各种语法知识(动宾、主谓)也可以在某些层的某些head中找到可视化场景;1.RNN系列;2.CNN系列;一.Transormer原理--与RNNCNN的对比;一.Transormer原理--与RNNCNN的对比;一.Transormer原理--与RNNCNN的对比;实测,语义相似度，GPU25分钟50W条数据预测;二.NLP预训练模型的发展;二.NLP预训练模型的发展;二.NLP预训练模型的发展;二.NLP预训练模型的发展;二.NLP预训练模型的发展;二.NLP预训练模型的发展;二.NLP预训练模型的发展;三.BERT--预训练;Masked语言模型是为了训练深度双向语言表示向量，作者用了一个非常直接的方式，遮住句子里某些单词，让编码器预测这个单词是什么。

训练方法为：作者随机遮住15%的单词作为训练样本。

（1）其中80%用maskedtoken来代替。

（2）10%用随机的一个词来替换。

（3）10%保持这个词不变;三.BERT--性能;三.BERT--性能;三.BERT--性能;三.BERT---一点实践;1.可在预训练模型的基础上利用领域数据再次进行预训练，然后再fine_tuning;感谢阅读