自然语言处理第三章.pptx

语言模型预训练简介/BERT/GPT/预训练语言模型优化2026/6/11

第三章：语言模型预训练预训练简介任务/基本结构/应用实例BERT：掩码预训练模型网络结构/输入表示/训练GPT：生成式预训练模型GPT1/GPT2/GPT3模型优化与压缩模型压缩/微调适配/CANN2026/6/12

3.1简介语言模型预训练目的：学习通用的文本嵌入表达，提升下游任务的性能学习语言特征：语义特征、句法特征等学习语言现象：一词多义、指代等2026/6/13

3.1简介?2026/6/14

3.1简介语言模型预训练具体任务带掩码机制的语言模型：将文本中的部分token进行遮盖，通过使用其余的token预测被