自然语言处理：大模型理论与实践 课件 第五章 预训练语言模型.pptx

第五章预训练语言模型

5.1概述

5.2Seq2Seq模型

5.3注意力机制

5.4Transformer模型

5.5预训练语言模型

5.6语言模型使用范式

目录

5.1概述预训练语言模型（英文：Pre-trainedLanguageModels）通过在大规模未标记文本数据上进行自监督学习，来预先训练通用的语言表示。它不再局限于简单的生成任务，而是通过各种自监督任务（如掩码语言建模和下一句预测）学习到更丰富和普适的语言理解能力。图片来源：/@bijit211987/the-evolution-of-language-models-pre-training-fi