大语言模型基础(微课版）课件 第3、4章 大模型架构、人工数据标注.pptx

;;大语言模型的底层逻辑包括深度学习架构、训练机制与应用场景等。近年来，通过扩大数据大小和模型大小，大模型取得显著进展，提高了惊人的涌现能力，包括上下文学习（ICL）、指令微调和思维链（CoT）。不过，尽管大模型在自然语言处理任务中表现出了令人惊讶的零样本/少样本推理性能，但它们天生“视而不见”，因为通常只能理解离散文本。;尽管如此，研究界还是做出了许多努力来开发有能力的多模态大模型，展示了一些令人惊讶的实用能力，例如基于图像编写网站代码，理解模因（指能通过模仿而被复制的信息或思想，小到一条回答，一段流行歌曲旋律，一首古诗，一个笑话，一幅图片，大到一个习俗，一个节日，一个思想，一个主义）的深层含义，以及数学推理。;;PART01;简单来说，GPT（生成式预训练）大模型是一种基于深度学习的自然语言处理模型，它生成文本（文生文）结果的

原理，就是通过学习语言的规律，然后

根据已有的语境（上文），预测下一个

单词（频率），从而生成连贯的文本。

这一点，和人类说话或写文章是类似的。

图3-1通过预测生成文本;借助于群体智能，GPT模型的学习能力和生成能力已经远超人类。比如，人类对话中，“我”后面通常会跟“是”，“你”后面通常会跟“好”等等，这就是一种语言规律。GPT模型通过类似方式来学习语言规律。在模型训练过程中，GPT模型会阅读大量，甚至是数以亿计的文本数据，从中学习到文本中非常复杂的语言规律。这就是为什么GPT模型可以生成非常自然、连贯文本的原理。;GPT模型的内部结构由多层神经网络组成，每一层神经网络都可以抽取文本的某种特征。

（1）第一层神经网络可能会抽取出单词的拼写规律；

（2）第二层神经网络可能会抽取出词性的规律；

（3）第三层神经网络可能会抽取出句子的语法规律等等。

通过层层抽取，GPT模型可以学习到深层次的语言规律。其工作原理还涉及到很多复杂的数学和计算机科学知识。;GPT-3模型展现了一些大模型才具备的突现能力（就是模型规模必须得增大到一定程度才会显现的能力，比如至少百亿级），其中一项能力就是上下文学习。该能力简单来说就是，对于一个预训练好的大模型，迁移到新任务上的时候，并不需要重新训练，而只需要给模型提供任务描述（这个任务描述是可选项），输入几个示例（输入-输出对），最后加上要模型回答的查询，模型就能为新输入生成正确输出查询对应的答案，而不需要对模型做微调。这也引发了研究人员对该能力产生原因的思考和探索。;GPT-n系列的模型都属于自回归类的语言模型，就是根据当前输入预测下一个词，然后将预测结果和输入拼接再当作模型的输入预测下一个词，这样循环往复。

而自回归模型的训练目标也很简单，就是从超大规模语料库中采样训练样本，模型根据输入输出一个概率向量（包含所有词的预测概率，就GPT-3模型而言，维度约1千多万），而因为文本数据自带标注，所以知道真实的下一个词。然后，研究人员发现，预训练好的GPT-3模型拥有一项神奇的能力，后来就被称为上下文学习。;比如，现在想用GPT-3来做个翻译任务，将英文翻译为法文。输入的格式如右图所示。

图3-2GPT-3的翻译任务格式;首先第一行是对任务描述，告诉模型要做翻译，接下来三行是示例，英文单词和对应的法文单词对，最后一行是待翻译的英文单词。将以上内容整体作为GPT-3的输入，让模型去补全输出就能得到cheese对应的法文单词。

上下文学习非常灵活，除了翻译任务，还可以做语法修饰甚至写代码。而神奇的地方在于，GPT-3的训练过程中并没有显式地提供类似测试阶段任务描述加示例这样的训练数据。;当然，GPT-3的训练数据量非常巨大（比如包含维基百科、书本期刊上的讨论等），或许里面已经包含了各种任务类似结构的数据。GPT-3模型容量足够大，记下了所有训练数据。

对于上下文学习能力的成因，目前还是一个开放性的问题。为什么只有大规模的语言模型才会具备这样的能力？或许只有模型参数量和训练数据量都足够大，模型才能显现出该能力。;指令微调（又称指令跟随）是一种通过在由(指令,输出)对组成的数据集结构上进一步训练大模型的过程，以增强大模型的能力和可控性。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这种结构使得指令微调专注于让模型理解和遵循人类指令。这个过程有助于弥合大模型的下一个词预测目标与用户让大模型遵循人类指令的目标之间的差距。

指令微调可以被视为有监督微调的一种特殊形式。但是，它们的目标依然有差別。有监督微调是一种使用标记数据对预训练模型进行微调的过程，以便模型能够更好地执行特定任务。;举个例子，公司门禁系统用了人脸识别，而你只提供了一张照片，门禁系统就能从各个角度认出你，这就是单一样本。可以把单一样本理