《大语言模型》课件 第12、13章 BERT模型、T5模型.ppt

《大语言模型》课件 第12、13章 BERT模型、T5模型.ppt

  1. 1、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。。
  2. 2、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
  3. 3、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

12.1.2BERT模型是语言表示模型1.词嵌入技术(1)基本概念(2)常见的词嵌入模型(3)学习过程(4)特点(5)应用2.语言表示模型一些常见的语言表示模型如下:(1)Word2Vec(2)GloVe(3)FastText(4)ELMo(5)BERT模型(6)GPT12.1.3BERT模型的上下游任务BERT模型的上游任务和下游任务是模型在不同阶段的目标。1.上游任务(1)掩码语言模型(2)下一句预测2.下游任务下游任务是指模型在预训练完成之后,针对特定应用场景进行的训练和评估。对于BERT模型,预训练完成后,模型可以在各种特定的下游任务

文档评论(0)

xiaobao + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档