自然语言处理实践（第2版）课件全套 李轩涯 第1--27讲 基于统计的文本表示---手动实现简易聊天机器人.pptx

1;2;3;4;5;6;7;8;9;10;11;12;13;14;15;16;CBOW和Skip-gram;CBOW;CBOW;Skip-gram;Skip-gram;22;23;24;NLP预训练模型的发展;BERT训练的词向量有什么不同？

在word2vec中，相同词对应的向量训练好后就固定了但在不同的场景中，‘干什么’的意思会相同吗？

这俩兄弟都叫transformer:;;BERT—模型结构;BERT—模型结构;如何训练BERT

方法1：MLM（MaskedLanguageModeling）

当前词出现不只是单单依靠上文或者下文，其实应该是同时依赖于上下文深层的双向RNN会互相