现代深度学习教程 课件 第8章大模型.pptx

《现代深度学习教程》第8章大模型主讲：XXX时间：2026/9/21

目录CONTENTS01大规模预训练模型03GPT05ChatGPT02大语言模型04BERT06OpenAI-o1

AI8.1大规模预训练模型

8.1大规模预训练模型近年来，随着深度学习、硬件算力和大规模数据集的发展，BERT、GPT等大规模预训练模型（Pre-TrainingModel，PTM）不断涌现。大规模预训练模型表现出大参数量、海量数据学习、较强的模型泛化性等特点，可以有效地从海量标记和未标记数据中捕获知识。2021年8月，美国斯坦福大学以人为本人工智能研究院将大规模预训练模型统一命名为“基础模型（Fou