大语言模型通识 第1章 概述.ppt

***尽管这种方式训练的大模型在生成文本段落方面表现出色，但它们对真实的、有用的或无冒犯性的语言没有固定偏好。为了让生成的文本更符合人类语言使用规范，此后的大模型如ChatGPT，使用了“从人类反馈中进行强化学习”的微调技术来调整模型的输出。强化学习允许开发人员更具体和可控地引导模型的输出。这一微调过程在调整这些模型以更好地满足人类语言使用规范方面发挥着至关重要的作用。1.3.3基于Transformer模型大模型具有出色的能力，能够利用文本提示中的文本信息来引导它们的输出。已部署的语言模型经过预训练，其参数在训练后保持固定。尽管大部分架构缺乏可编辑的长期记忆资源，但它们能够根据所提供的内容灵活调整输出，包括它们未经明确训练的任务。这种能力可被视为一种即时学习或适应的形式，通常被称为“情境学习”。情境学习可被解释为一种模式完成的形式，如果序列构造为一个熟悉的问题或任务，模型将尝试以与其训练一致的方式完成它。可向模型发出具体的指令。1.3.3基于Transformer模型在“少样本学习”中，提示的结构包括要执行任务的几个示例，后面是需要响应的新实例。在“零样本学习”中，模型不会得到任何示例，任务直接在提示中进行概述或暗示。少样本学习被认为是人类智能的重要方面。而老式机器学习则在少样本学习任务中表现较差。然而，经过训练后的大模型在少样本学习上表现出色。在较大的模型（如GPT-3）中观察到，少样本学习能力似乎与模型大小高度相关。通过强化学习精调后，大模型的零样本学习能力得到增强。1.3.3基于Transformer模型大模型已经应用在自然语言处理领域的许多任务中，且有不错的表现。除了传统的自然语言处理任务，大模型还具有执行包括生成代码、玩基于文本的游戏和提供数学问题答案等。由于大模型出色的信息检索能力，它们甚至已被提议作为教育、研究、法律和医学的工具。1.3.3基于Transformer模型人工神经网络（ANNs，简称“神经网络”），包括早期的自然语言处理结构，一直是哲学讨论的焦点。围绕这些系统的哲学讨论主要集中在它们作为建模人类认知的适用性上。具体而言，争论的焦点在于，相比于比经典的、符号的、基于规则的对应物模型，它们是否构成了更好的人类认知模型。研究中的核心问题之一是，设计用于预测下一个词元的大模型是否能构建出一个“世界模型”。在机器学习中，世界模型通常指的是模拟外部世界某些方面的内部表征，使系统能够以反映现实世界动态的方式理解、解释和预测现象，包括因果关系和直观的物理现象。1.3.4大模型的世界模型问题大模型的学习方式与通过和环境互动并接收反馈来学习的强化学习代理不同，它能否构建出世界模型。实际上这是在探讨它们是否能够内部构建出对世界的理解，并生成与现实世界知识和动态相一致的语言。这种能力对于反驳大模型仅仅是“Blockheads”的观点至关重要。1.3.4大模型的世界模型问题评估大模型是否具有世界模型并没有统一的方法，部分原因在于这个概念通常定义模糊，部分原因在于难以设计实验来区分大模型是依赖浅层启发式回答问题，还是使用了环境核心动态的内部表征这一假设。尽管如此，我们还可以向大模型提出一些不能依据记忆来完成的任务，来提供新的证据解决这一问题。1.3.4大模型的世界模型问题有的研究认为，大模型可能学会了模拟世界的一部分，而不仅仅是进行序列概率估计。更具体地说，互联网规模的训练数据集由大量单独的文档组成。对这些文本的最有效压缩可能涉及对生成它们的隐藏变量值进行编码：即文本的人类作者的句法知识、语义信念和交际意图。1.3.4大模型的世界模型问题另一个有趣的问题是，大模型是否可能参与文化习得并在知识传递中发挥作用。一些理论家提出，人类智能的一个关键特征在于其独特的文化学习能力。尽管其他灵长类动物也有类似的能力，但人类在这方面显得更为突出。人类能够相互合作，将知识从上一代传到下一代，人类能够从上一代结束的地方继续，并在语言学、科学和社会学知识方面取得新的进展。这种方式使人类的知识积累和发现保持稳步发展，与黑猩猩等其他动物相对停滞的文化演变形成鲜明对比。1.3.5文化知识传递和语言支持鉴于深度学习系统已经在多个任务领域超过了人类表现。那么问题就变成了，大模型是否能够模拟文化学习的许多组成部分，将它们的发现传递给人类理论家。研究发现，现在主要是人类通过解释模型来得到可传播的知识。但是，大模型是否能够以理论介导的方式向人类解释它们的策略，从而参与和增强人类文化学习呢？有证据表明，基于Transformer的模型可能在某些训练-测试分布转变下实现组合泛化。但问题涉及到一种不同类型的泛化——解决真正新颖任务的能力。从现有证据来看，大模型似乎能够在已知任务范围内处理