ChatGPT嵌入技术：神网络中与图像表示方法.pdfVIP

“嵌入”的概念

[美]斯蒂芬•拉姆（StephenWolfram）·这就是ChatGPT

神经网络，至少以目前的设置来说，基本上是基于数的。因此，如果处理像文本这样

的东西，我们需要一种用数表示文本的方法。当然，我们可以（本质上和PT一样）从

为字典中的每个词分配一个数开始。但有一个重要的思想—也是ChatGPT的想—更胜

一筹。这就是“嵌入”（embedding）的思想。可以将嵌入视为一种尝试通过数来表

示某些东西“本质”的方法，其特性是“相近的事物”由相近的数表示。

例如，我们可以将词嵌入视为试图在一种“意义空间”中布局词，其中“在意义上相近”的词

会出现在相近的位置。实际使用的嵌入（例如在ChatGPT中）往往涉及大量数字列表。但如

果将其投影到二维平面上，则可以展示嵌入对词的布局方式。

可以看到，这确实非常成功地捕捉了我们典型的日常印象。但是如何才能构建这样的嵌入呢？

大致的想法是查看大量的文本（这