《大语言模型基础》课程简介.docx

《大语言模型基础》课程简介

课程名称： 大语言模型基础

Foundationoflargelanguagemodels

课程编号：CS-301

学分：2学分

课程简介：

本课程旨在介绍大语言模型的基本概念、核心技术、应用场景以及开发流程。通过本课程的学习，学生将能够理解大语言模型的工作原理，掌握大语言模型的基本概念、核心技术、应用场景以及开发流程,掌握模型的训练、微调和应用方法，并能够独立设计和实现基于大语言模型的应用系统，为未来的学术研究和实际应用打下坚实的基础。

课程目标：

1.知识目标：掌握大语言模型的基本概念、发展历程和技术原理。

2.技能目标：能够使用开源大模型进行微调和应用开发。

3.应用目标：能够在实际项目中设计和实现基于大语言模型的解决方案。

4.伦理目标：了解大语言模型伦理和法律问题，具备负责任的技术应用能力。

课程内容：

1.大模型基础

?1.1人工智能基础

?1.2大模型定义

?1.3大模型技术的形成

?1.4通用人工智能

2.大模型与生成式AI

?2.1什么是语言模型

?2.2大模型发展三阶段

?2.3Transformer模型

?2.4生成式人工智能

3.大模型架构

?3.1大模型生成原理

?3.2多模态语言模型

?3.3大模型的结构

?3.4应用技术架构

?3.5OpenAI的Sora大模型

4.人工数据标注

?4.1知识表示方法

?4.2什么是数据标注

?4.3数据标注分类

?4.4制定标注规则

?4.5执行数据标注

?4.6标注团队管理

5.大模型预训练数据

?5.1数据来源

?5.2数据处理

?5.3数据影响分析

?5.4典型的开源数据集

?5.5训练集、测试集、验证集的异同

?5.6数据集面临的挑战

6.大模型开发组织

?6.1大模型开发流程

?6.2大模型的数据组织

?6.3分而治之的思想

?6.3.1分布式计算

?6.3.2消息传递接口MPI

?6.3.3MapReduce模型

?6.3.4批处理和流处理

?6.4分布式训练与策略

7.提示工程与微调

?7.1什么是提示工程

?7.2大模型为什么要微调

?7.3提示学习和语境学习

?7.4上下文窗口扩展

?7.5指令数据的构建

?7.6微调及其PEFT流行方案

8.强化学习方法

?8.1强化学习的概念

?8.2强化学习基础

?8.3强化学习分类

?8.4深度强化学习

9.大模型智能体

?9.1智能体和环境

?9.2智能体的良好行为

?9.3环境的本质

?9.4智能体的结构

?9.5构建大模型智能体

?9.6人工智能内容生成（AIGC）

10.大模型应用框架

?10.1大模型哲学问题

?10.2大模型应用流程

?10.3大模型应用场景

?10.4案例：Magic突破Q算法

11.技术伦理与限制

?11.1人工智能面临的伦理挑战

?11.2数据隐私保护对策

?11.3人工智能伦理原则

?11.4大模型的知识产权保护

12.大模型产品评估

?12.1模型评估概述

?12.2大模型评估体系

?12.3大模型评估实践

?12.4大模型产品对比

?12.5大模型的大趋势

教学方法：

?课堂讲授：通过多媒体课件和案例讲解，系统介绍大语言模型的基础知识和技术原理。

?实验实训：通过实验室实践，让学生动手操作，掌握大语言模型的训练、微调和应用方法。

?小组讨论：组织学生进行小组讨论，探讨大语言模型的实际应用和伦理问题。

?项目作业：布置实际项目作业，要求学生独立设计和实现基于大语言模型的应用系统。

考核方式：

?平时成绩（30%）：包括课堂表现、实验报告和小组讨论。

?期中考试（30%）：考察学生对大语言模型基础知识的理解和掌握。

?期末项目（40%）：要求学生独立完成一个基于大语言模型的应用项目，并进行展示和答辩。

课程教材：

?教材：《大语言模型基础》，周苏，清华大学出版社，2024

课程负责人：

?姓名：

?职称：

?联系方式：