自然语言处理（第3、4章）教案 语言模型预训练、 生成式文本摘要.docx

PAGE2

语言模型预训练

参考学时

2学时（90分钟）。

教学目标（能力要求）

系统梳理语言模型预训练的基本概念、演变过程及“预训练+微调”与“预训练+提示”范式的基本内容；

学生能深入理解Transformer中自注意力机制（Self-Attention）的查询（Q）、键（K）、值（V）矩阵的作用以及整体的计算过程；

学生能理解BERT与GPT模型的网络结构差异（编码器vs解码器）、训练任务（掩码语言模型vs文本预测）及下游任务应用场景；

学生能基本阐述模型压缩的主要方法，包括知识蒸馏、剪枝、量化的基本内容；

学生能基本阐述大语言模型的指令微调与对齐微调的主要策略；

学生能