大语言模型生成原理与机制.pdfVIP

它只是一次添加一个词

[美]斯蒂芬•拉姆（StephenWolfram）·这就是ChatGPT

ChatGPT可以自动生成类似于人类书写的文本，这非常了不起，也非常令人意外。它是如何

做到的呢？这为什么会奏效呢？我在这里将概述ChatGPT的工作方式，然后探讨为什么

它能够如此出色地产生我们认为有意义的文本。必须在开头说明，我会重点关注宏观的工作方

式，虽然也会提到一些工程细节，但不会深入探讨。［这里提到的本质不仅适用于

ChatGPT，也同样适用于当前的其他“大语言模型”（largelanguagemodel，LLM）。］

首先需要解释，ChatGPT从根本上始终要做的是，针对它得到的任何文本产生“合理的延

续”。这里所说的“合理”是指，“人们在看到诸如数十亿个网页上的内容后，可能期待别人

会这样写”。

假设我们手里的文本是“ThebestthingaboutAIisitsabilityto”（AI最棒的地方在于它

能）。想象一下浏览人类编写的数十亿页文本（比如在互联网上和中），找到该文本的

所有实例，然后看看接下来出现的