ChatGPT在做什么...为什么它能做到.docx

ChatGPT在做什么...为什么它能做到？

TableofContents

TOC\o1-3\h\z\u前言 3

ChatGPT在做什么...为什么它能做到？ 4

它只是一次添加一个单词 4

概率从何而来？ 8

什么是模型？ 11

人类式任务的模型 13

神经网络 14

机器学习和神经网络的训练 22

神经网络训练的实践和经验 26

“当然，只要神经网络足够大，就能做任何事情！” 30

嵌入（Embeddings）的概念 32

ChatGPT内部 36

ChatGPT的训练 42

除了基本的训练之外 43

什么让ChatGPT能够工作？ 44

意义空间与语义运动规律 48

语义语法和计算语言的力量 52

那么......ChatGPT在做什么，它为什么有效呢？ 54

感谢 55

Wolfram|Alpha是将计算知识超能力带给ChatGPT的途径 56

ChatGPT和Wolfram|Alpha 56

一个基本的例子 57

更多例子 59

未来之路 69

AdditionalResources 72

Onlinelinktoallresources: 72

前言

这本小书试图从基本原理解释ChatGPT的工作原理和原因。在某些方面，这是关于技术的故事。但它也是一部关于科学和哲学的故事。为了讲述这个故事，我们必须汇集数个世纪以来许多惊人的思想和发现。

对我来说，看到我长期以来感兴趣的许多事情在突然的进步中汇聚在一起是令人兴奋的。从简单程序的复杂行为到语言和意义的核心特征，以及大型计算机系统的实际应

用，所有这些都是ChatGPT故事的一部分。

ChatGPT基于神经网络的概念，神经网络最初是在1940年代作为大脑运作的理想化而发明的。我自己在1983年首次编写了一个神经网络，但它并没有做任何有趣的事情。但是，40年后，随着计算机的速度快了百万倍，互联网上有数十亿页的文本，并且进行了一系列工程创新，情况已经完全不同了。??人意料的是，一个比我1983年使用的神经网络大十亿倍的神经网络能够生成有意义的人类语言，这曾被认为是独特的人类特征。

这本书包括我在ChatGPT发布后不久写的两篇文章。第一篇是关于ChatGPT及其生成语言能力的解释。第二篇展望了ChatGPT能够使用计算工具超越人类所能做的事情，特别是能够利用我们的Wolfram|Alpha系统的计算知识“超能力”。

ChatGPT发布才三个月，我们刚刚开始了解它的实际和知识上的影响。但现在它的到来提醒我们，即使在已经发明和发现了所有东西之后，仍然有可能??现意外。

斯蒂芬·沃尔夫勒姆

2023年2月28日

ChatGPT在做什么...为什么它能做到？

它只是一次添加一个单词

ChatGPT能够自动生成类似于人类书写的文本，这是非常惊人和意想不到的。但是它是如何做到的？它为什么能够如此??色地产生我们可能认为是有意义的文本呢？我的目的在于概述ChatGPT内部正在发生的事情，然后探索为什么它能够很好地产生文本。我首先要说明的是，我将重点关注正在发生的大局面，并且虽然我会提及一些工程细节，但我不会深入探讨它们。（而我将要说的实质内容同样适用于其他当前的“大型语言模型”[LLM]，而不仅仅是ChatGPT。）

首先需要解释的是，ChatGPT始终基本上是试图产生当前文本的“合理续写”，其中“合理”意味着“在看到人们在数十亿个网页上写了什么后，人们可能期望某人写下什么”。

假设我们有文本“AI最好的事情是它的能力...”。想象一下扫描数十亿页人类编写的文本（例如网络上和数字化的书籍），找到所有这种文本的实例，然后看看接下来的单词在多大程度上会??现。ChatGPT实际上会做类似的事情，除了（如我将解释的那样）它不会看字面文本；它寻找在某种意义上“匹配”的东西。但最终结果是，它会生成一个可能的单词排名列表，以及“概率”：

值得注意的是，当ChatGPT写论文时，它实际上在一遍又一遍地询问“在给定的文本中，下一个单词应该是什么？”--每次添加一个单词。（更准确地说，如我将要解释的那样，它正在添加一个“令牌”，这可能只是单词的一部分，这就是为什么它有时可以“创造新词”的原因。）

但是，在每一步中，它都会得到一个具有概率的单词列表。但它应该选择哪个单词添加到它正在编写的文章（或其他内容）中呢？有人可能认为应该选择“排名最高”的单词

（即被赋予最高“概率”的单词）。但是这里开始涉及