《大语言模型基础》教学大纲.docx

《大语言模型基础》教学大纲

课程名称：大语言模型基础

Foundationoflargelanguagemodels

课程编号：CS-301

学分：2学分

课程简介：

本课程旨在介绍大语言模型的基本概念、核心技术、应用场景以及开发流程。通过本课程的学习，学生将能够理解大语言模型的工作原理，掌握大语言模型的基本概念、核心技术、应用场景以及开发流程,掌握模型的训练、微调和应用方法，并能够独立设计和实现基于大语言模型的应用系统，为未来的学术研究和实际应用打下坚实的基础。

课程目标：

1.知识目标：掌握大语言模型的基本概念、发展历程和技术原理。

2.技能目标：能够使用开源大模型进行微调和应用开发。

3.应用目标：能够在实际项目中设计和实现基于大语言模型的解决方案。

4.伦理目标：了解大语言模型伦理和法律问题，具备负责任的技术应用能力。

课程内容：

第1章：大模型基础

?1.1人工智能基础

?1.1.1人工智能的实现途径

?1.1.2机器学习和深度学习

?1.1.3监督与无监督学习

?1.2大模型定义

?1.2.1模型预训练和微调

?1.2.2大模型的特征

?1.2.3大模型的优势

?1.3大模型技术的形成

?1.3.1Blockhead思维实验

?1.3.2大模型的历史基础

?1.3.3基于Transformer模型

?1.3.4大模型的世界模型问题

?1.3.5文化知识传递和语言支持

?1.4通用人工智能

?1.4.1什么是通用人工智能

?1.4.2大模型与通用人工智能

?1.4.3人工智能生成内容

第2章：大模型与生成式AI

?2.1什么是语言模型

?2.1.1语言模型的定义

?2.1.2注意力机制

?2.1.3开源还是闭源

?2.2大模型发展三阶段

?2.2.1基础模型阶段

?2.2.2能力探索阶段

?2.2.3突破发展阶段

?2.3Transformer模型

?2.3.1Transformer过程

?2.3.2Transformer结构

?2.3.3Transformer模块

?2.4生成式人工智能

?2.4.1生成式AI定义

?2.4.2生成式AI层次

?2.4.3生成式预训练语言模型GPT

第3章：大模型架构

?3.1大模型生成原理

?3.1.1上下文学习

?3.1.2指令微调

?3.1.3零样本/少样本

?3.1.4深度学习架构

?3.1.5训练策略及优化技术

?3.1.6所谓世界模型

?3.2多模态语言模型

?3.2.1多模态指令微调

?3.2.2多模态上下文学习

?3.2.3多模态思维链

?3.2.4大模型辅助视觉推理

?3.3大模型的结构

?3.3.1LLaMA的模型结构

?3.3.2LLaMA的注意力机制

?3.4应用技术架构

?3.4.1指令工程

?3.4.2函数调用

?3.4.3检索增强生成

?3.4.4微调

?3.5OpenAI的Sora大模型

?3.5.1Sora技术报告分析

?3.5.2Sora主要技术特点

?3.5.3Sora的模型训练过程

第4章：人工数据标注

?4.1知识表示方法

?4.1.1知识的概念

?4.1.2知识表示的定义

?4.1.3知识表示的过程

?4.2什么是数据标注

?4.3数据标注分类

?4.3.1图像标注

?4.3.2语音标注

?4.3.33D点云标注

?4.3.4文本标注

?4.4制定标注规则

?4.5执行数据标注

?4.6标注团队管理

第5章：大模型预训练数据

?5.1数据来源

?5.1.1通用数据

?5.1.2专业数据

?5.2数据处理

?5.2.1质量过滤

?5.2.2冗余去除

?5.2.3隐私消除

?5.2.4词元切分

?5.3数据影响分析

?5.3.1数据规模

?5.3.2数据质量

?5.4典型的开源数据集

?5.4.1Pile

?5.4.2ROOTS

?5.5训练集、测试集、验证集的异同

?5.5.1训练、测试与验证数据集的不同之处

?5.5.2训练、测试与验证数据集的相似之处

?5.6数据集面临的挑战

?5.6.1规模和质量待提升

?5.6.2大模型与数据集相辅相成

?5.6.3标准规范需健全

?5.6.4存储性能待提高

第6章：大模型开发组织

?6.1大模型开发流程

?6.2大模型的数据组织

?6.2.1数据采集

?6.2.2数据清洗和预处理

?6.2.3数据标注

?6.2.4数据集划分

?6.2.5模型设计

?6.2.6模型初始化

?6.2.7模型训练

?6.2.8模型验证

?6.2.9模型保存

?6.2.10模型测试

?6.2.