GPT1-3核心技术：从预训练到微调深度探索.pdfVIP

15|GPT1-3：技术，深入解析LLM的技术

Tyler·AI大模型系统实战

你好，我是Tyler。

在今天的课程中，深入探讨GPT1-3的发展历程。GPT的主要内容其实已经体现在它

的名字中，它的全称是GenerativePre-trainedTransformer，其中集合了我们大模型关注的

各种要素，包括预训练大模型（Pre-trainedTransformer）和生成式AI（Generative

AI）。

通过上节课的学习，你已经理解了Transformer的工作原理，有了这个基础，我们再来学习

GPT系列就相对轻松了。接下来，我们就从GPT-1开始说起。

GPT-1：学会微调（Finetune）

GPT-1符合我们之前对预训练模型的美好幻想，就像CV领域的预训练模型一样，首先在大

规模的数据上进行学习，在具体的任务上继续微调。

不过，你可能会问，之前不是因为缺乏合适的数据集，所以一直无法制作出适合用在自然

语言处理的预训练模型吗。那么，GPT-1的训练数据是从哪里获取的呢？

这是一个非常好的问题！在这里，我们所说的不是ImageNet