《大语言模型基础》教案全套 周苏.docx

《大语言模型基础》教案

课程名称：大语言模型基础

Foundationoflargelanguagemodels

课程编号：CS-301

学分：2学分

课程负责人：

教材与参考资料：

?教材：《大语言模型基础》，周苏，清华大学出版社，2024

?参考资料：

预修课程：

课程目标：

1.知识目标：掌握大语言模型的基本概念、发展历程和技术原理。

2.技能目标：能够使用开源大模型进行微调和应用开发。

3.应用目标：能够在实际项目中设计和实现基于大语言模型的解决方案。

4.伦理目标：了解大语言模型伦理和法律问题，具备负责任的技术应用能力。

教学方法：

?课堂讲授：通过多媒体课件和案例讲解，系统介绍大语言模型的基础知识和技术原理。

?实验实训：通过实验室实践，让学生动手操作，掌握大语言模型的训练、微调和应用方法。

?小组讨论：组织学生进行小组讨论，探讨大语言模型的实际应用和伦理问题。

?项目作业：布置实际项目作业，要求学生独立设计和实现基于大语言模型的应用系统。

考核方式：

?平时成绩（30%）：包括课堂表现、实验报告和小组讨论。

?期中考试（30%）：考察学生对大语言模型基础知识的理解和掌握。

?期末项目（40%）：要求学生独立完成一个基于大语言模型的应用项目，并进行展示和答辩。

课程内容及教学安排：

第1周：课程介绍与人工智能基础

大模型定义与技术形成

?1.1人工智能基础

?1.1.1人工智能的实现途径

?1.1.2机器学习和深度学习

?1.1.3监督与无监督学习

?1.2大模型定义

?1.2.1模型预训练和微调

?1.2.2大模型的特征

?1.2.3大模型的优势

?1.3大模型技术的形成

?1.3.1Blockhead思维实验

?1.3.2大模型的历史基础

?1.3.3基于Transformer模型

?1.3.4大模型的世界模型问题

?1.3.5文化知识传递和语言支持

?教学活动

?课堂讲授

?小组讨论：大模型的发展历程

?课后阅读：

第2周：通用人工智能

语言模型与生成式AI

?1.4通用人工智能

?1.4.1什么是通用人工智能

?1.4.2大模型与通用人工智能

?1.4.3人工智能生成内容

?2.1什么是语言模型

?2.1.1语言模型的定义

?2.1.2注意力机制

?2.1.3开源还是闭源

?教学活动

?课堂讲授

?实验实训：使用开源大模型执行简单任务

实现简单的语言模型

?课后阅读：

第3周：大模型发展三阶段

生成式人工智能

?2.2大模型发展三阶段

?2.2.1基础模型阶段

?2.2.2能力探索阶段

?2.2.3突破发展阶段

?2.3Transformer模型

?2.3.1Transformer过程

?2.3.2Transformer结构

?2.3.3Transformer模块

?2.4生成式人工智能

?2.4.1生成式AI定义

?2.4.2生成式AI层次

?2.4.3生成式预训练语言模型GPT

?教学活动

?课堂讲授

?小组讨论：Transformer模型的特点

?实验实训：实现Transformer模型

使用GPT模型生成文本

?课后阅读：

第4周：大模型生成原理

多模态语言模型

?3.1大模型生成原理

?3.1.1上下文学习

?3.1.2指令微调

?3.1.3零样本/少样本

?3.1.4深度学习架构

?3.1.5训练策略及优化技术

?3.1.6所谓世界模型

?3.2多模态语言模型

?3.2.1多模态指令微调

?3.2.2多模态上下文学习

?3.2.3多模态思维链

?3.2.4大模型辅助视觉推理

?教学活动

?课堂讲授

?实验实训：实现上下文学习

实现多模态语言模型

?课后阅读：

第5周：大模型的结构

OpenAI的Sora大模型

?3.3大模型的结构

?3.3.1LLaMA的模型结构

?3.3.2LLaMA的注意力机制

?3.4应用技术架构

?3.4.1指令工程

?3.4.2函数调用

?3.4.3检索增强生成

?3.4.4微调

?3.5OpenAI的Sora大模型

?3.5.1Sora技术报告分析

?3.5.2Sora主要技术特点

?3.5.3Sora的模型训练过程

?教学活动

?课堂讲授

?小组讨论：Sora模型的特点和应用

?实验实训：使用LLaMA模型执行任务

?课后阅读：

OpenAI的Sora技术报告

第6周：人工数据标注

大模型预训练数据

?4.1知识表示方法

?4.1.1知识的概念

?4.1.2知识表示的定义

?4.1.3知识表示的过程

?4.2什么是